Как найти sitemap любого сайта и что он расскажет о структуре

Sitemap.xml — публичный файл: его может открыть любой, кто знает адрес. Для владельца сайта это способ проверить, что видит робот. Для SEO-специалиста — быстрый источник информации о структуре конкурента: какие разделы у него есть, сколько страниц и как часто они обновляются.

Стандартные адреса

Чаще всего карта лежит по одному из адресов в корне сайта:

• /sitemap.xml
• /sitemap_index.xml
• /sitemap-index.xml
• /wp-sitemap.xml на сайтах WordPress без сторонних плагинов
• /sitemap.xml.gz в сжатом виде

Добавьте путь к домену и откройте в браузере. Если файл найден, браузер покажет список адресов или структуру XML.

Через robots.txt

Если стандартные адреса не сработали, откройте файл robots.txt в корне сайта. Владельцы часто указывают в нём строку Sitemap с точным адресом карты. Это самый надёжный способ, потому что путь может быть любым, например /upload/sitemap/main.xml.

Через панели вебмастеров

Для своего сайта посмотрите раздел файлов sitemap в Google Search Console и Яндекс Вебмастере. Там видно, какие карты были отправлены, когда прочитаны и сколько адресов в них найдено. Если вы приняли сайт от другого подрядчика, это первый источник сведений о том, что уже настроено.

Если карты не видно

Возможны варианты: карты нет вообще, она лежит по нестандартному адресу без ссылки в robots.txt, доступ к ней ограничен. Можно попробовать поиск по сайту оператором site с указанием filetype:xml, но результат не гарантирован. Для своего сайта отсутствие карты — повод её настроить. Если сайт работает на конструкторе, загляните в его настройки: карта часто включается отдельным переключателем.

Как читать индексный файл

На крупных сайтах по главному адресу лежит не список страниц, а индекс — перечень других карт. Обычно они разбиты по типам: товары, категории, статьи, страницы, бренды. Уже по названиям файлов видно, из каких разделов состоит сайт. Откройте каждую частичную карту, чтобы увидеть адреса.

Что карта рассказывает о конкуренте

• Структура адресов: как устроены вложенность и названия разделов
• Объём: сколько товаров, статей, посадочных страниц под услуги
• Посадочные под районы и города, если они есть
• Частота обновлений по датам lastmod
• Новые разделы, которые появились недавно

Например, если у конкурента-клиники в карте видны отдельные страницы под каждую услугу и каждого врача, а у вас одна общая страница «Услуги», это прямая подсказка, каких посадочных вам не хватает.

Как работать с большими картами

Если адресов тысячи, читать глазами неудобно. Скопируйте содержимое в таблицу или выгрузите адреса краулером, который умеет читать sitemap. Дальше можно разбить адреса по папкам и посчитать, сколько страниц в каждом разделе.

Пример анализа

Застройщик сравнивает свой сайт с сайтами трёх конкурентов. В их картах видны отдельные страницы под каждый жилой комплекс, планировки по количеству комнат, страницы ипотеки и рассрочки, статьи о районах. Это готовый список посадочных, которые стоит рассмотреть, — после проверки спроса на каждую тему.

Ограничения

Карта показывает то, что владелец решил в неё включить, а не всё, что есть на сайте. Она может быть устаревшей, неполной или содержать мусор. Поэтому выводы о конкуренте сверяйте с реальной выдачей: какие его страницы действительно показываются по нужным запросам.

Своя карта глазами постороннего

Полезное упражнение — открыть собственную карту так, будто вы конкурент. Видны ли в ней тестовые страницы, черновики, старые акции, служебные адреса? Всё, что выглядит лишним для вас, выглядит лишним и для робота. Это хороший повод почистить карту и заодно сам сайт.