Meta robots noindex: как убрать страницу из поиска без правки robots.txt

Директива noindex говорит поисковику: эту страницу можно открыть и прочитать, но показывать в результатах поиска не нужно. В отличие от robots.txt, который запрещает обход, noindex работает на уровне конкретного документа и не требует трогать общий файл правил сайта.

Где прописывается noindex

Есть два способа. Первый — мета-тег в блоке head страницы:

<meta name="robots" content="noindex">

Второй — HTTP-заголовок X-Robots-Tag, который сервер отдаёт вместе со страницей или файлом. Заголовок удобен для PDF, изображений и других документов, в которые нельзя вставить мета-тег. Оба способа понимают Google и Яндекс.

Если нужно обратиться только к одному поисковику, вместо robots в атрибуте name указывают имя робота, например googlebot или yandex. На практике это нужно редко: обычно страницу скрывают от всех.

Noindex и Disallow — не одно и то же

Самая частая ошибка — закрыть страницу в robots.txt и одновременно поставить на неё noindex. Робот, которому запрещён обход, не открывает страницу и поэтому не видит мета-тег. В итоге адрес может остаться в индексе: поисковик знает о нём по ссылкам, но не прочитал запрет.

Правило простое:

• Нужно убрать страницу из выдачи — ставьте noindex и оставляйте обход открытым
• Нужно сэкономить ресурсы робота на бесполезных адресах — используйте Disallow
• Сначала noindex, дождаться выпадения из индекса, и только потом, если очень нужно, закрывать в robots.txt

Какие страницы обычно закрывают

• Результаты внутреннего поиска по сайту
• Корзина, оформление заказа, личный кабинет
• Страницы благодарности после отправки формы
• Служебные страницы печати, сравнения, фильтров без спроса
• Тестовые и черновые страницы, случайно опубликованные
• Тонкие страницы тегов, которые дублируют рубрики

Не стоит закрывать страницы пагинации каталога целиком: через них робот находит товары. Здесь лучше работать с каноническими адресами и перелинковкой.

Noindex, nofollow и другие значения

В атрибуте content можно перечислить несколько значений через запятую. Nofollow запрещает переходить по ссылкам страницы. Сочетание noindex, nofollow превращает страницу в тупик для робота, поэтому для обычных служебных страниц достаточно одного noindex: ссылки с неё продолжат передавать роботу информацию о других разделах.

Значение none означает то же, что noindex и nofollow вместе. Значение all или index, follow — поведение по умолчанию, писать его не обязательно.

Типичные ошибки

• Noindex остался в шаблоне после разработки и закрыл весь сайт
• Плагин SEO поставил noindex на рубрики или товары после обновления настроек
• Страница с noindex указана в sitemap — поисковик получает противоречивые сигналы
• Каноническая ссылка ведёт на страницу с noindex
• Запрет поставлен через JavaScript, который робот выполнил не сразу

Если сайт работает на CMS, проверьте, не выставлен ли глобальный флажок вроде «попросить поисковые системы не индексировать сайт». Он добавляет noindex на все страницы разом.

Как проверить, что запрет работает

Откройте исходный код страницы и найдите мета-тег robots. Для заголовка X-Robots-Tag посмотрите ответ сервера через инструменты разработчика в браузере или любой сервис проверки HTTP-заголовков. В Google Search Console инструмент проверки URL покажет, видит ли Google запрет на индексирование. В Яндекс Вебмастере статус страницы виден в разделе страниц в поиске.

Выпадение из индекса происходит не мгновенно: поисковику нужно заново обойти страницу. Для ускорения можно отправить адрес на переобход.

Когда noindex не подходит

Если страница должна исчезнуть навсегда и у неё есть замена, правильнее настроить 301-редирект на актуальную версию. Если это дубль основной страницы — каноническая ссылка. Noindex хорош для страниц, которые нужны людям на сайте, но бесполезны в поиске.