robots.txt: что закрывать от роботов и чего не трогать

robots.txt — текстовый файл в корне сайта, который сообщает поисковым роботам, какие разделы можно сканировать, а какие нет. Он помогает направить внимание роботов на важные страницы, но ошибка в нём может закрыть от поиска весь сайт.

Основные директивы

• User-agent: для какого робота правила
• Disallow: какие пути запрещены к сканированию
• Allow: исключения из запрета
• Sitemap: адрес карты сайта

Что обычно закрывают

Служебные разделы и панель администратора, корзину и оформление заказа, личный кабинет, результаты внутреннего поиска, адреса с параметрами сортировки и отслеживания, технические страницы.

Чего не закрывать

Файлы стилей и скриптов, необходимые для отображения страниц, изображения, которые должны находиться в поиске по картинкам, основные разделы сайта.

Сканирование и индексация

Важно понимать: запрет в robots.txt запрещает сканирование, но не всегда предотвращает индексацию. Если на закрытую страницу ведут ссылки, она может появиться в поиске без описания. Чтобы гарантированно исключить страницу из индекса, используют метатег noindex, а страница должна быть доступна для сканирования, чтобы робот его увидел.

Типичные ошибки

Строка Disallow: / после разработки сайта, закрывающая всё. Закрытие стилей и скриптов. Запрет разделов, которые должны быть в поиске. Опечатки в путях.

Проверка

Search Console показывает, какой robots.txt видит Google и какие страницы им заблокированы. Вебмастер имеет инструмент анализа robots.txt. Проверяйте файл после каждого обновления сайта.

Итог

robots.txt — простой файл с большими последствиями. Изменения в нём стоит проверять отдельно перед публикацией.