Robots.txt для WordPress: что закрывать от индексации

Файл robots.txt сообщает поисковым роботам, какие разделы сайта им не нужно сканировать. В WordPress этот файл может создаваться автоматически или задаваться вручную. В интернете много шаблонов robots.txt для WordPress с длинными списками запретов, но многие из них устарели и даже вредят сайту. Разберём, что действительно нужно.

Виртуальный и физический файл

Если на сервере нет файла robots.txt, WordPress формирует виртуальный файл автоматически. По умолчанию он закрывает административную часть и оставляет доступным служебный файл, нужный для работы некоторых функций сайта. SEO-плагины могут добавлять в виртуальный файл строку с адресом карты сайта и позволяют редактировать его в интерфейсе.

Если загрузить файл robots.txt в корень сайта, он заменит виртуальный. Это удобно, когда нужен полный контроль, но тогда изменения через плагины перестанут действовать.

Что обычно закрывают

• Административную часть сайта
• Страницы внутреннего поиска по сайту
• Корзину, оформление заказа и личный кабинет для магазинов
• Служебные адреса с параметрами, которые создают дубли, если они не решаются другими способами

Список должен быть коротким и осмысленным: каждая строка запрета должна закрывать то, что действительно не нужно поисковику.

Что закрывать нельзя

Файлы стилей и скриптов, а также папки, где они хранятся, нельзя закрывать целиком. Поисковики отрисовывают страницу так же, как браузер, и без доступа к стилям и скриптам могут неправильно понять, как выглядит страница и удобна ли она на телефоне. Старые шаблоны часто закрывают системные папки WordPress целиком — это ошибка.

Не закрывайте в robots.txt страницы, которые хотите убрать из индекса. Запрет сканирования не гарантирует удаления из индекса: если на страницу есть ссылки, она может остаться в выдаче без описания. Для удаления из индекса используйте мета-тег noindex и оставьте страницу доступной для сканирования, чтобы робот увидел этот тег.

Указание карты сайта

Добавьте в файл строку с адресом карты сайта — встроенной или созданной SEO-плагином. Это помогает поисковикам быстрее её найти, хотя карту всё равно стоит отправить в Search Console и Вебмастер.

Директивы для Яндекса

В старых шаблонах можно встретить директивы, которые Яндекс больше не поддерживает или поддерживает иначе, например указание главного зеркала. Сегодня зеркала определяются через редиректы и настройки в Вебмастере. Директиву для очистки параметров адресов Яндекс поддерживает — она может быть полезна, если на сайте есть параметры, которые не меняют содержимое.

Как проверить

1. Откройте адрес robots.txt вашего сайта в браузере
2. Проверьте правила инструментом анализа robots.txt в Яндекс Вебмастере
3. Проверьте отчёт о файле robots.txt в Search Console
4. Убедитесь, что важные страницы не попадают под запреты

Типичные ошибки

Запрет всего сайта, оставшийся после разработки. Закрытые папки со стилями и скриптами. Попытка удалить страницы из индекса через robots.txt. Длинный скопированный шаблон с правилами для разделов, которых на сайте нет. Противоречия между robots.txt и мета-тегами: страница закрыта в файле, а на ней стоит noindex, который робот не может увидеть.

Когда менять файл

При добавлении новых служебных разделов, при подключении магазина, при изменении структуры адресов. После каждого изменения проверяйте правила инструментами поисковиков — ошибка в одной строке может закрыть от сканирования весь сайт.

Храните копию рабочего файла: при переезде на другой хостинг или переустановке сайта её легко восстановить, не собирая правила заново.