Краулинговый бюджет: когда он важен и как его не тратить

Краулинговый бюджет — условное количество страниц, которое поисковый робот готов просканировать на сайте за определённое время. Он зависит от скорости сервера и от того, насколько поисковик считает сайт ценным. Для небольших сайтов это редко проблема, для крупных интернет-магазинов и порталов — важный вопрос.

Для каких сайтов важен

• Тысячи и десятки тысяч страниц
• Частые обновления: цены, наличие, новости
• Много страниц, генерируемых автоматически
• Новые страницы долго не попадают в индекс

Что тратит бюджет впустую

Бесконечные комбинации фильтров и сортировок. Адреса с параметрами отслеживания. Дубли страниц. Страницы с ошибками. Цепочки редиректов. Внутренний поиск. Календари и архивы с бесконечными датами.

Как оптимизировать

Закрыть от сканирования служебные адреса и параметры, не нужные в поиске. Устранить дубли. Исправить ошибки и цепочки редиректов. Поддерживать актуальную карту сайта. Ускорить ответ сервера.

Внутренние ссылки

Важные страницы должны получать ссылки с других страниц, особенно с часто обновляемых. Страницы без ссылок робот находит медленнее.

Статистика сканирования

Search Console показывает статистику сканирования: сколько запросов в день делает робот, время ответа сервера, типы ответов. Резкий рост ошибок или времени ответа — сигнал проблемы.

Логи сервера

Анализ логов показывает, какие страницы робот посещает чаще всего. Если он тратит время на фильтры и параметры, а важные страницы посещает редко, нужно перераспределить его внимание.

Итог

Для крупных сайтов управление сканированием напрямую влияет на скорость попадания новых и обновлённых страниц в поиск.