Как полностью закрыть сайт от индексации на время разработки

Пока сайт в разработке, ему нечего делать в поиске: незаконченные страницы, текст-заглушка, тестовые товары. Если такая версия попадёт в индекс, она будет конкурировать с будущим рабочим сайтом и выдавать посетителям сырой контент. Закрыть сайт целиком можно несколькими способами, и у каждого свои ограничения.

Способ 1. Disallow для всех роботов

Классическая запись в robots.txt, которая запрещает обход всего сайта:

User-agent: *
Disallow: /

Звёздочка обращается ко всем роботам, косая черта означает все адреса сайта. Это просто и быстро, но есть нюанс: robots.txt запрещает обход, а не индексацию. Если на тестовый домен кто-то поставил ссылку, поисковик может добавить адрес в индекс без содержимого — с пометкой, что описание недоступно.

Способ 2. Noindex на всех страницах

Мета-тег robots со значением noindex в общем шаблоне или заголовок X-Robots-Tag на уровне сервера. Поисковик открывает страницы, видит запрет и не показывает их. Важно: если одновременно стоит Disallow, робот не прочитает noindex. Выбирайте что-то одно.

Способ 3. Пароль на тестовую версию

Самый надёжный вариант — закрыть тестовый домен базовой HTTP-авторизацией или доступом по IP. Робот получает код 401 или 403 и физически не может прочитать страницы. Заказчик и команда входят по логину и паролю. Такой доступ легко снять в день запуска, и он не зависит от того, послушается ли робот правил.

Сравнение способов

• Disallow: настраивается за минуту, но адреса могут попасть в индекс по внешним ссылкам
• Noindex: убирает страницы из выдачи, но робот тратит время на обход
• Пароль: страницы недоступны никому без доступа, надёжнее всего
• Комбинация пароля и noindex в шаблоне страхует на случай, если пароль снимут раньше времени

Главная опасность — забыть открыть сайт

Самая дорогая ошибка случается не при закрытии, а при запуске. Разработчики переносят тестовую версию на рабочий домен вместе с robots.txt, где стоит Disallow: /, или с включённым noindex в настройках CMS. Сайт запускается, но поисковики его не индексируют, а владелец узнаёт об этом через несколько недель по отсутствию трафика.

Добавьте в чек-лист запуска отдельные пункты:

• Открыть robots.txt рабочего домена и убедиться, что общего запрета нет
• Проверить исходный код главной и нескольких внутренних страниц на noindex
• Выключить в CMS настройку, скрывающую сайт от поисковиков
• Отправить sitemap в Search Console и Яндекс Вебмастер
• Проверить главную инструментом проверки URL

Если тестовый сайт уже попал в индекс

Закройте его паролем или поставьте noindex, оставив обход открытым, чтобы робот увидел запрет. Для Google можно воспользоваться временным удалением адресов в Search Console, для Яндекса — инструментом удаления страниц в Вебмастере. Если тестовая версия жила на поддомене основного сайта, подтвердите права на этот поддомен отдельно.

Как договориться с подрядчиком

Если сайт делает студия или фрилансер, пропишите в договоре или задании, где будет жить тестовая версия, как она закрывается и кто отвечает за снятие запретов при запуске. Попросите доступ к тестовому домену для себя: так вы сами увидите, что сайт закрыт паролем, а не только файлом robots.txt. После запуска сохраните у себя копию рабочего robots.txt, чтобы при следующих доработках было с чем сравнить.

Частичное закрытие

Иногда закрыть нужно не весь сайт, а раздел, например каталог, который ещё наполняется. Для этого используют Disallow с путём раздела или noindex в шаблоне этих страниц. Принцип тот же: если нужна гарантия, что страницы не появятся в выдаче, полагайтесь не только на robots.txt.

Короткий вывод

Для разработки — пароль на тестовом домене. Для запуска — обязательная проверка, что все временные запреты сняты. Эти два правила избавляют от большинства проблем с индексацией нового сайта.