Robots.txt для Битрикс: служебные разделы и параметры адресов

Файл robots.txt подсказывает поисковым роботам, какие разделы сайта не нужно сканировать. На Битриксе он особенно важен: система создаёт множество служебных адресов и параметров, которые поисковику не нужны. В модуле поисковой оптимизации есть встроенный редактор robots.txt с заготовками правил — удобно, но заготовки надо проверять под свой сайт.

Что обычно закрывают

Служебные папки

• папка ядра и административной панели
• папки с подключаемыми областями и служебными скриптами
• временные и тестовые разделы, если они есть

Пользовательские разделы

• корзина и оформление заказа
• личный кабинет, авторизация, регистрация, восстановление пароля
• сравнение товаров и избранное
• результаты поиска по сайту

Параметры адресов

Битрикс и его компоненты добавляют к адресам параметры: сортировка, количество товаров на странице, вид отображения, идентификаторы сессии, служебные параметры авторизации и печати. Каждая такая комбинация — новый адрес с тем же содержимым. Закройте эти параметры правилами с подстановочным символом звёздочки.

Что закрывать нельзя

• файлы стилей и скриптов, нужные для отрисовки страницы. Google оценивает страницу так, как её видит пользователь, и без CSS может посчитать её неудобной
• изображения товаров, если вы хотите получать трафик из поиска по картинкам
• страницы пагинации каталога, если без них робот не доберётся до товаров
• разделы, которые вы продвигаете, — звучит очевидно, но ошибка встречается

Clean-param для Яндекса

Яндекс поддерживает директиву Clean-param, которая сообщает, что указанные параметры не меняют содержимое страницы. Это мягче, чем полный запрет: робот склеит адреса с параметрами с основным. Удобно для рекламных меток и параметров сортировки. Google эту директиву не использует, для него применяют canonical.

Указание карты сайта

В конце файла добавьте строку Sitemap с полным адресом карты. Если карт несколько, укажите индексный файл.

Запрет не равен удалению из индекса

Если страница уже в индексе и вы закрыли её в robots.txt, она может оставаться в поиске с пустым описанием: робот больше не заходит и не видит изменений. Для удаления из индекса нужен мета-тег noindex на открытой для сканирования странице, а после выпадения из индекса — уже запрет в robots.txt, если он нужен.

Проверка

1. Откройте файл по адресу домена со слэшем и robots.txt и убедитесь, что он отдаётся с кодом 200
2. Проверьте его в инструменте анализа robots.txt в Вебмастере
3. Вставьте туда список важных адресов: главная, разделы, товары, статьи. Все должны быть разрешены
4. Вставьте несколько служебных адресов — они должны быть запрещены
5. Посмотрите отчёт о robots.txt в Search Console

Типичные ошибки на Битриксе

• После переноса с тестового сервера остался запрет всего сайта
• Закрыта папка, где лежат изображения товаров
• Правило с параметром написано так, что закрывает и нужные страницы
• Разные версии файла для разных сайтов многосайтовой установки перепутаны

Многосайтовая установка

Если на одной лицензии Битрикса работает несколько сайтов или доменов, например русская версия и узбекская на отдельном поддомене, файл robots.txt физически может быть один на всех. В таком случае его отдают динамически: модуль поисковой оптимизации позволяет вести отдельные правила для каждого сайта. Проверьте, что каждый домен отдаёт свой файл с правильной строкой Sitemap, а не карту соседнего сайта.

Итог

Robots.txt для Битрикса должен закрывать служебное и параметры, но оставлять открытыми страницы для людей и ресурсы для их отрисовки. Перед сохранением изменений всегда прогоняйте важные адреса через проверку. Если сомневаетесь в текущем файле, пришлите его — подскажем, что поправить.