Как поддерживать sitemap актуальным при добавлении и удалении страниц

Карта сайта, созданная один раз при запуске, через полгода обычно уже не соответствует действительности: появились новые услуги и статьи, часть товаров снята с продажи, разделы переименованы. Устаревшая карта посылает роботу на удалённые адреса и не сообщает о новых. Поэтому важно не столько создать sitemap, сколько выстроить его обновление.

Автоматическая генерация — норма

Ручное редактирование XML подходит только для очень маленьких статичных сайтов. Во всех остальных случаях карта должна собираться автоматически из базы данных сайта:

• В WordPress — встроенная карта или SEO-плагин
• В Битрикс — модуль генерации карты с запуском по расписанию или агентом
• В Tilda и других конструкторах — карта создаётся платформой
• На самописных сайтах и фреймворках — скрипт или маршрут, который строит карту из базы

Задача — чтобы новая опубликованная страница попадала в карту без участия человека.

Динамически или по расписанию

Есть два подхода. Динамическая карта собирается при каждом обращении к файлу и всегда актуальна, но на больших сайтах генерация может быть медленной. Статичная карта пересобирается по расписанию, например раз в сутки, и отдаётся мгновенно. Для каталогов с тысячами товаров обычно выбирают второй вариант, а частоту подбирают под скорость изменений ассортимента.

Что должно происходить при добавлении страницы

• Страница публикуется и сразу или при ближайшей пересборке появляется в карте
• Указывается её канонический адрес
• Дата lastmod равна дате публикации

Черновики, скрытые записи и страницы с noindex в карту попадать не должны. Проверьте это в настройках генератора.

Что должно происходить при удалении

Удалённая страница исчезает из карты. Если для неё настроен редирект на замену, в карте остаётся только новый адрес. Частая проблема интернет-магазинов: товар снят с продажи, но страница осталась доступной и в карте. Решите заранее, что делать с такими товарами: оставлять страницу с пометкой о наличии, перенаправлять на категорию или удалять.

Что делать при изменении адреса

При смене структуры адресов карта должна содержать только новые адреса, а со старых должен работать 301-редирект. Иногда при переезде временно держат отдельную карту со старыми адресами, чтобы робот быстрее обнаружил редиректы, но это краткосрочная мера, после которой такую карту убирают.

Нужно ли повторно отправлять карту

Поисковики периодически перечитывают карты сами. Повторная отправка в Search Console и Вебмастер полезна после крупных изменений: запуска раздела, переезда, массового обновления каталога. Для обычных ежедневных изменений достаточно, чтобы файл был актуальным и указан в robots.txt.

Google в своё время отказался от старого способа уведомления пингом по специальному адресу, поэтому опираться на него не стоит. Для Яндекса и некоторых других поисковиков можно настроить протокол IndexNow, который мгновенно сообщает об изменённых адресах.

Контроль качества

Раз в месяц полезно сравнивать число адресов в карте с числом страниц в индексе по отчётам поисковиков. Большой разрыв говорит либо о мусоре в карте, либо о проблемах с индексацией. После обновлений CMS и плагинов проверяйте, не изменился ли формат карты и не исчезли ли разделы.

Короткий регламент

1. Карта собирается автоматически из базы.
2. В неё попадают только опубликованные канонические страницы без noindex.
3. Удалённые и перенаправленные адреса исчезают.
4. После крупных изменений карту отправляют повторно.
5. Раз в месяц сверяются данные карты и отчётов индексации.

Такой регламент занимает минимум времени и позволяет забыть о карте сайта как об источнике проблем.