Раздел «Индексирование» в Вебмастере: какие отчёты смотреть

Раздел «Индексирование» в Яндекс Вебмастере показывает, как робот Яндекса обходит сайт и какие страницы попадают в поиск. Это основной инструмент для диагностики проблем с индексацией в Яндексе. Названия отчётов и их расположение иногда меняются, но основные функции остаются.

Статистика обхода

Показывает, какие страницы робот посещал, когда, и какой ответ сервера получил. Полезно для поиска:

• массовых ошибок 404 и 5xx
• страниц, которые робот обходит, хотя они не нужны: параметры, служебные разделы
• изменений частоты обхода

Если робот тратит много времени на мусорные страницы, нужные могут обходиться реже.

Страницы в поиске

Самый важный отчёт:

• сколько страниц в поиске
• какие страницы добавлены и исключены
• причины исключения: дубль, недостаточно качественная, запрещена в robots.txt, перенаправление, ошибка

История изменений позволяет связать падение числа страниц с конкретными событиями: обновлением сайта, сменой шаблона, переездом.

Причины исключения

Основные статусы:

• Дубль — Яндекс считает страницу копией другой
• Недостаточно качественная — страница не попала в поиск из-за низкой ценности по оценке алгоритма
• Запрещено в robots.txt или мета-тегом
• Перенаправление — страница перенаправляет на другую
• Неканоническая — указан canonical на другой адрес
• Ошибка HTTP — страница отдаёт ошибку

Для каждой группы нужны разные действия.

Структура сайта

Отчёт показывает разделы сайта и количество загруженных и проиндексированных страниц в каждом. Удобно, чтобы увидеть, в каком разделе проблемы: например, в блоге почти всё в поиске, а в каталоге — малая часть.

Проверка статуса URL

Позволяет проверить конкретную страницу: в поиске ли она, когда последний раз обходилась, какой ответ получил робот. Используйте для важных страниц, которые не появляются в поиске.

Переобход страниц

Можно отправить адреса новых и изменённых страниц на приоритетный обход. Есть дневной лимит, поэтому отправляйте важные страницы: новые услуги, обновлённые цены, исправленные ошибки.

Файлы Sitemap

Список карт сайта, их статус и ошибки. Проверьте, что карта обработана без ошибок и число адресов в ней соответствует ожиданиям.

Переезд сайта

Раздел для сообщения о переезде, например на https или на другой домен. Помогает Яндексу быстрее склеить зеркала.

Региональность и другие настройки

В соседних разделах настраиваются регион сайта, главное зеркало и другие параметры, влияющие на индексирование и показ.

Еженедельный минимум

1. Число страниц в поиске и его динамика
2. Новые исключённые страницы и причины
3. Ошибки в статистике обхода
4. Статус карт сайта
5. Диагностика в отдельном разделе

Пример

Интернет-магазин видит, что число страниц в поиске упало. В отчёте «Страницы в поиске» — массовое исключение карточек товаров со статусом «Дубль». Выясняется, что после обновления карточки стали открываться по двум адресам. Исправление ссылок и canonical возвращает страницы.

Типичные ошибки при чтении отчётов

• паниковать из-за исключённых дублей с параметрами, которые и должны быть исключены
• не замечать, что в группу «Недостаточно качественная» попали важные страницы услуг
• отправлять на переобход сотни мусорных адресов и упираться в лимит
• смотреть только общее число страниц без разбивки по разделам

Итог

Раздел «Индексирование» показывает, как Яндекс видит ваш сайт: что обходит, что добавляет в поиск, что исключает и почему. Смотрите его регулярно, особенно после изменений на сайте. Если число страниц в поиске Яндекса падает без видимых причин, поможем найти причину.