Sitemap.xml и robots.txt: как два файла работают вместе

Robots.txt и sitemap.xml лежат в корне большинства сайтов и обращаются к одному читателю — поисковому роботу. Но задачи у них противоположные. Robots.txt ограничивает: перечисляет разделы, которые не нужно обходить. Sitemap.xml подсказывает: перечисляет страницы, которые стоит найти и проиндексировать. Хорошо, когда файлы согласованы, и плохо, когда противоречат друг другу.

Что делает robots.txt

Текстовый файл с правилами для роботов. В нём указывают, каким роботам и какие пути запрещено обходить. Он экономит ресурсы робота на служебных адресах: корзине, поиске по сайту, параметрах сортировки. Robots.txt не гарантирует исключение из индекса — это задача noindex.

Что делает sitemap.xml

XML-файл со списком канонических адресов, которые вы хотите видеть в поиске. Для каждого адреса можно указать дату последнего изменения. Карта сайта особенно полезна новым и большим сайтам, где робот не сразу найдёт все страницы по ссылкам.

Как связать файлы

В robots.txt можно указать путь к карте сайта отдельной строкой:

Sitemap: https://example.uz/sitemap.xml

Адрес пишется полностью, с протоколом. Строка не привязана к конкретному блоку User-agent и читается всеми роботами. Если карт несколько, каждую указывают своей строкой или дают ссылку на индексный файл, объединяющий остальные.

Указание в robots.txt не заменяет добавления карты в Google Search Console и Яндекс Вебмастер. Через панели вы увидите статус обработки и ошибки, а строка в robots.txt помогает остальным поисковикам и инструментам.

Где файлы спорят

Самые частые противоречия:

• В sitemap есть адреса, закрытые в robots.txt через Disallow
• В sitemap попали страницы с noindex
• В карте указаны адреса с редиректом вместо конечных
• В карте неканонические версии страниц: с параметрами, со слешем и без
• Robots.txt закрывает папку с CSS и скриптами, без которых страницы из карты отображаются некорректно

Каждое такое противоречие — сигнал поисковику, что карте нельзя полностью доверять. Он продолжит её читать, но приоритеты будет расставлять сам.

Как проверить согласованность

1. Выгрузите список адресов из sitemap.
2. Прогоните его через краулер или сервис проверки ответов сервера: все адреса должны отдавать код 200.
3. Проверьте, что ни один адрес не попадает под правила Disallow. В Вебмастере для этого есть инструмент анализа robots.txt, куда можно вставить список адресов.
4. Проверьте, что на страницах нет noindex и канонический адрес указывает сам на себя.
5. Посмотрите в Search Console отчёт по файлам sitemap: число обнаруженных адресов и ошибки.

Пример для небольшого магазина

Допустим, магазин бытовой техники в Ташкенте закрыл в robots.txt адреса с параметром сортировки и страницу корзины. В карту при этом должны попадать главная, категории, карточки товаров, страницы брендов и статьи. Если генератор по ошибке добавил в карту адреса сортировки, Search Console со временем покажет их как заблокированные файлом robots.txt — это и есть сигнал противоречия.

Порядок действий при изменениях

Когда закрываете раздел от индексации, сначала уберите его адреса из sitemap, затем поставьте noindex, дождитесь выпадения из индекса и только потом при необходимости добавляйте Disallow. Когда открываете новый раздел — наоборот: снимите запреты в robots.txt, затем добавьте адреса в карту.

Для сайтов на популярных CMS

Многие системы генерируют оба файла автоматически. Это удобно, но автоматика не знает ваших решений: плагин может включить в карту теги и вложения, которые вы закрыли в robots.txt. После установки плагинов и обновлений просматривайте оба файла глазами.

Итог

Robots.txt и sitemap.xml должны рассказывать роботу одну историю: что закрыто — того нет в карте, что в карте — то открыто, доступно и канонично. Проверка согласованности занимает немного времени и избавляет от загадочных проблем с индексацией.