Ishlab chiqish davrida saytni indeksatsiyadan to‘liq yopish usullari

Yangi sayt yoki uning test nusxasi tayyor bo‘lmaguncha qidiruvda ko‘rinmasligi kerak. Aks holda qidiruv tizimi chala matnlarni, «lorem ipsum»ni va test manzillarini indeksga qo‘shadi, keyin esa asosiy sayt ishga tushganda ular dublikat bo‘lib qoladi.

Birinchi usul: robots.txt’da hammasini yopish

Eng mashhur variant — robots.txt fayliga quyidagini yozish:

User-agent: *
Disallow: /

Bu barcha robotlarga saytning hech bir sahifasini skanerlamaslikni aytadi. Usul oddiy, lekin uning muhim kamchiligi bor: robots.txt skanerlashni taqiqlaydi, indeksatsiyani emas. Agar test manzilga biror joydan havola bo‘lsa, qidiruv tizimi manzilni bilib qolishi va uni tavsifsiz ko‘rsatishi mumkin. Bundan tashqari, robots.txt — iltimos, majburiyat emas: insofsiz botlar unga qaramaydi.

Ikkinchi usul: barcha sahifalarda noindex

Har bir sahifaga meta robots noindex qo‘yish yoki server sarlavhasida X-Robots-Tag: noindex yuborish. Bu indeksga tushishni ishonchliroq to‘xtatadi, chunki robot sahifani ochadi va taqiqni ko‘radi. Lekin bu holatda robots.txt ochiq bo‘lishi kerak — aks holda robot tegni o‘qiy olmaydi.

Uchinchi usul: parol bilan himoya

Eng ishonchli yo‘l — test saytni HTTP avtorizatsiya (login va parol) orqasiga yashirish. Robot sahifa o‘rniga 401 kodini oladi va hech narsani ko‘rmaydi. Begona odamlar ham kira olmaydi, bu esa narxlar yoki mijozlar ma’lumotlari bo‘lgan loyihalar uchun muhim. Apache’da bu .htpasswd fayli bilan, nginx’da auth_basic direktivasi bilan sozlanadi, ko‘plab hostinglar esa panelda bitta tugma bilan yoqadi.

Qaysi usulni tanlash

• Test nusxa alohida subdomen yoki domenda bo‘lsa — parol bilan himoya
• Sayt asosiy domenda tayyorlanayotgan bo‘lsa va ochiq bo‘lishi kerak bo‘lsa — noindex
• Tez va vaqtinchalik yechim kerak bo‘lsa — robots.txt, lekin manzilni hech qayerda e’lon qilmang

Bir nechta usulni birlashtirish mumkin, faqat robots.txt va noindex bir-biriga xalaqit berishini yodda tuting.

Ishga tushirishdagi eng qimmat xato

Eng ko‘p uchraydigan holat: sayt ishga tushdi, lekin test davridagi «Disallow: /» qolib ketdi. Sayt haftalar davomida qidiruvda ko‘rinmaydi, egasi esa sababini boshqa joydan qidiradi. Xuddi shunday, CMS sozlamalaridagi «qidiruv tizimlariga indeksatsiya qilishni taqiqlash» belgisi ham ko‘pincha unutiladi.

Ishga tushirish kuni tekshiruv ro‘yxati:

• robots.txt ochib ko‘rildi, umumiy taqiq olib tashlangan
• Asosiy shablonlarda noindex yo‘q
• Parol himoyasi o‘chirilgan
• Sayt xaritasi to‘g‘ri domen va protokol bilan
• Search Console va Yandex Vebmaster’da sayt qo‘shilgan, robots.txt tekshirilgan

Test nusxa allaqachon indeksga tushgan bo‘lsa

Avval kirishni yoping — parol yoki noindex. Keyin Search Console’da o‘sha domen yoki subdomen uchun alohida resurs qo‘shib, vaqtinchalik olib tashlash so‘rovini yuboring. Yandex uchun Vebmaster’dagi sahifalarni o‘chirish vositasidan foydalaning. Agar test nusxa asosiy sayt bilan bir xil bo‘lsa va unga havolalar bo‘lsa, 301 yo‘naltirish bilan asosiy domenga yo‘naltirish ham yaxshi yechim.