Требования к sitemap: лимиты, кодировка и формат адресов

Формат карты сайта описан в открытом протоколе sitemaps.org, который поддерживают Google, Яндекс и другие поисковики. Требований немного, но нарушение любого из них может привести к тому, что файл не будет обработан целиком или частично.

Обязательная структура

Файл начинается с объявления XML и корневого элемента urlset с указанием пространства имён протокола. Каждая страница описывается элементом url, внутри которого обязателен элемент loc с адресом. Остальные поля необязательны:

• lastmod — дата последнего изменения
• changefreq — ожидаемая частота изменений
• priority — относительный приоритет внутри сайта

Google официально сообщает, что changefreq и priority не использует. Их можно не указывать, это не ошибка.

Лимиты

Один файл карты может содержать не более 50 000 адресов и весить не более 50 МБ в несжатом виде. Если сайт больше, карту разбивают на несколько файлов и объединяют индексным файлом sitemapindex. Сжатие gzip допускается, но лимит размера считается для распакованного файла.

Кодировка и символы

Файл должен быть в кодировке UTF-8. Специальные символы в адресах экранируются: амперсанд, апостроф, кавычки, знаки больше и меньше заменяются на соответствующие XML-сущности. Кириллические адреса и пробелы нужно кодировать в процентной кодировке так же, как браузер передаёт их серверу. Именно неэкранированный амперсанд в адресах с параметрами — одна из самых частых причин ошибок.

Требования к адресам

• Только абсолютные адреса, с протоколом и доменом
• Тот же протокол и домен, что у основного зеркала
• Одинаковый формат: если основной вариант со слешем на конце — везде со слешем
• Адрес в карте не может относиться к домену выше уровнем, чем расположение файла, без дополнительного подтверждения прав
• Только канонические страницы с кодом ответа 200

Последний пункт формально не часть протокола, но это требование здравого смысла: поисковики рассматривают карту как список страниц, рекомендованных к индексации.

Расположение файла

Карта обычно размещается в корне сайта. Протокол связывает расположение файла с допустимыми адресами: карта в папке /catalog/ может перечислять только адреса внутри этой папки. Поэтому основную карту кладут в корень, а путь к ней указывают в robots.txt и панелях вебмастеров.

Индексный файл

Индексный файл содержит элементы sitemap с вложенным loc — адресом частичной карты — и необязательным lastmod. Для индексного файла действуют те же ограничения по числу записей и размеру. Вложенность глубже одного уровня не допускается: индекс не может ссылаться на другой индекс.

Расширения формата

Протокол допускает расширения для изображений, видео, новостей и альтернативных языковых версий через атрибуты hreflang. Каждое расширение объявляет своё пространство имён в корневом элементе. Если пространство имён не объявлено, а теги расширения используются, файл считается некорректным.

Языковые версии в карте

Для сайтов на русском и узбекском альтернативные версии страницы можно указать в карте элементами link с атрибутами rel alternate и hreflang. Каждая версия должна ссылаться на все остальные и на саму себя. Это альтернатива разметке hreflang в коде страниц, и выбирать стоит один способ, чтобы не поддерживать два источника.

Чек-лист соответствия

• Корректное объявление XML и пространство имён
• Каждая запись содержит loc
• Не больше 50 000 адресов и 50 МБ на файл
• UTF-8 и экранированные спецсимволы
• Абсолютные канонические адреса основного зеркала
• Даты в формате W3C Datetime
• Индексный файл для больших сайтов без вложенных индексов

Как проверить

Валидатор XML покажет синтаксические ошибки, отчёты Search Console и Вебмастера — проблемы обработки. Если карта генерируется плагином или модулем CMS, проверьте её после каждого крупного обновления: изменения в настройках могут незаметно нарушить формат.