Проверка ответа сервера в Вебмастере: коды и что с ними делать

Браузер может показывать страницу нормально, а робот поисковика получает другое: ошибку, редирект, пустую страницу или блокировку. Причины бывают разные — защита от ботов, разные настройки для разных агентов, ошибки сервера при определённых условиях. Инструмент проверки ответа сервера в Яндекс Вебмастере позволяет запросить страницу от имени робота Яндекса и увидеть, что именно он получает.

Что показывает инструмент

• Код ответа HTTP
• Время ответа сервера
• Заголовки ответа: тип содержимого, кэширование, адрес редиректа
• Содержимое страницы, которое получил робот

Удобнее всего проверять адреса подтверждённого сайта: для них инструмент даёт самую полную картину.

Код 200

Страница отдана успешно. Проверьте, что содержимое совпадает с тем, что видит человек: если вместо текста — страница проверки на робота или пустой шаблон, проблема всё равно есть, хотя код нормальный.

Коды 3xx

Перенаправление. Посмотрите адрес в заголовке Location. Убедитесь, что код 301 для постоянного переноса, что редирект ведёт на правильную страницу и что нет цепочек. Если важная страница неожиданно отдаёт редирект, возможно, сработало правило, которого вы не ожидали, — например, перенаправление мобильных устройств.

Коды 4xx

• 404 — страница не найдена: проверьте, правильно ли указан адрес и не была ли страница удалена
• 410 — удалена навсегда, это нормальный ответ для удалённых страниц
• 403 — доступ запрещён: часто означает, что защита сервера блокирует робота
• 401 — нужна авторизация: страница закрыта паролем

Если робот получает 403, а браузер — 200, разберитесь с настройками защиты от ботов на хостинге или в CDN. Блокировка робота поисковика приводит к выпадению страниц из поиска.

Коды 5xx

Ошибка сервера: 500, 502, 503, 504. Временный сбой не страшен, но если ошибка повторяется, робот начнёт реже обходить сайт, а страницы могут исключаться. Изучите журналы ошибок сервера, нагрузку и таймауты. Код 503 уместен только на время технических работ.

Частая причина ложной ошибки

Сайт стоит за сервисом защиты, который показывает новым посетителям страницу проверки браузера. Человек проходит её незаметно, а робот получает код 403 или 503 и текст проверки вместо страницы. В настройках таких сервисов обычно есть исключения для известных поисковых роботов — проверьте, что они включены и робот Яндекса проходит без проверки.

Время ответа

Если сервер отвечает медленно для робота, это может ограничить скорость обхода. Сравните время с тем, что видите в браузере. Большая разница может говорить о том, что для робота страница собирается заново без кэша или что сервер далеко от точки, откуда приходит робот.

Проверка разных версий

Проверяйте не только основной адрес, но и его варианты: с www и без, с http, со слешем на конце и без. Каждый из них должен отдавать либо 200 для основного варианта, либо 301 на него. Отдельно проверьте адреса robots.txt и sitemap.xml: если они отдают ошибку, это влияет на обход всего сайта, а не одной страницы.

Когда пользоваться инструментом

• После настройки редиректов — проверить коды
• После подключения CDN или защиты от ботов — убедиться, что робот не блокируется
• Когда важная страница выпала из поиска
• Когда в диагностике Вебмастера появились ошибки недоступности
• Перед запуском сайта на новом сервере

Чем дополнить

Инструмент проверяет один адрес за раз. Для массовой проверки используйте краулер и журналы сервера, где видны все обращения робота Яндекса с кодами ответа. Раздел статистики обхода в Вебмастере покажет, какие коды получал робот на сайте за период, — это хороший способ заметить проблему раньше, чем она скажется на трафике.