Краулер для аудита сайта: что проверяет и как читать отчёт

Screaming Frog и аналогичные программы — краулеры, которые обходят сайт по ссылкам так же, как поисковый робот, и собирают данные о каждой странице. Это основной инструмент технического аудита.

Что собирает краулер

• Коды ответа страниц: 200, 301, 404, 500
• Title, description, H1 и их длину
• Канонические адреса и мета-тег robots
• Внутренние и внешние ссылки
• Глубину страниц от главной
• Размер и время загрузки
• Изображения без атрибута alt

Коды ответов

Страницы с ошибками 4xx и 5xx, редиректы и цепочки редиректов. Ошибки сервера на важных страницах — приоритет.

Мета-теги и заголовки

Пустые, повторяющиеся, слишком длинные title и description, страницы без H1 или с несколькими H1. Дубли title часто указывают на дубли страниц.

Канонические адреса и индексация

Страницы с canonical на другие адреса, страницы с noindex. Проверьте, что важные страницы не закрыты по ошибке.

Ссылки

Битые внутренние ссылки и место, где они находятся. Страницы без входящих внутренних ссылок.

Глубина

Страницы, до которых нужно сделать много переходов от главной. Их стоит приблизить ссылками.

Сайты на JavaScript

Включите режим отрисовки, чтобы краулер видел страницу после выполнения скриптов, и сравните с исходным HTML.

Приоритеты

Не все найденные проблемы одинаково важны. Сначала исправляйте то, что мешает индексации важных страниц, затем ошибки в шаблонах, затем мелкие правки.

Итог

Регулярный обход краулером, например раз в месяц, позволяет находить проблемы до того, как они повлияют на трафик.