Meta robots noindex: sahifani robots.txt’ga tegmasdan qidiruvdan olib tashlash

Saytda shunday sahifalar bo‘ladi: ular foydalanuvchiga kerak, lekin qidiruvda ko‘rinishi shart emas. Rahmat sahifasi, shaxsiy kabinet, ichki qidiruv natijalari, filtrlarning keraksiz kombinatsiyalari. Ularni yashirish uchun meta robots tegidagi noindex qiymati ishlatiladi.

Teg qanday yoziladi

Teg sahifa kodining head qismiga qo‘yiladi:

<meta name="robots" content="noindex, follow">

Bu yozuv qidiruv robotiga ikki narsani aytadi: sahifani indeksga qo‘shma, lekin undagi havolalar bo‘yicha yurishda davom et. Agar havolalarga ham ergashish kerak bo‘lmasa, «noindex, nofollow» yoziladi, ammo ko‘p hollarda follow qoldirilgani foydali — robot ichki sahifalarni topishda shu havolalardan foydalanadi.

Faqat bitta qidiruv tizimiga ko‘rsatma berish ham mumkin: name atributiga robots o‘rniga googlebot yoki yandex yoziladi.

Fayllar uchun X-Robots-Tag

PDF, Word hujjatlari yoki rasmlarda HTML head yo‘q. Ular uchun xuddi shu ko‘rsatma server javobining sarlavhasida yuboriladi: X-Robots-Tag: noindex. Bu Apache yoki nginx sozlamalarida, ba’zan CMS plaginlarida sozlanadi. Narxlar ro‘yxati yoki ichki yo‘riqnoma PDF shaklida qidiruvga tushib qolgan bo‘lsa, aynan shu usul yordam beradi.

Eng ko‘p uchraydigan xato: robots.txt bilan birga yopish

Robot noindex tegini ko‘rishi uchun sahifani yuklab olishi kerak. Agar shu sahifa robots.txt’da Disallow bilan yopilgan bo‘lsa, robot unga kirmaydi va tegni hech qachon o‘qimaydi. Natijada sahifa indeksda qolib ketishi mumkin — ayniqsa unga boshqa saytlardan havola bo‘lsa.

To‘g‘ri tartib:

• Avval sahifaga noindex qo‘ying va robots.txt’da u ochiq bo‘lsin
• Sahifa indeksdan chiqqanini kuting
• Shundan keyingina, kerak bo‘lsa, skanerlashni robots.txt orqali cheklang

Google robots.txt ichidagi noindex direktivasini qo‘llab-quvvatlamaydi, shuning uchun u yerga yozilgan noindex hech narsa bermaydi.

Noindex qachon kerak va qachon kerak emas

Noindex mos keladigan holatlar:

• Ariza yuborilgandan keyingi rahmat sahifasi
• Savat, buyurtma rasmiylashtirish, shaxsiy kabinet
• Saytning ichki qidiruvi natijalari
• Talab bo‘lmagan filtr va saralash sahifalari
• Vaqtinchalik test yoki qoralama sahifalar

Noindex o‘rniga boshqa vosita kerak bo‘lgan holatlar: sahifaning ikki nusxasi bo‘lsa — kanonik teg; sahifa butunlay o‘chirilgan bo‘lsa — 404 yoki 410 kodi yoki 301 yo‘naltirish; maxfiy ma’lumot bo‘lsa — parol bilan himoya. Noindex sahifani yashiradi, lekin uni hamma uchun ochiq qoldiradi.

Natijani qanday tekshirish

1. Brauzerda sahifa kodini oching va head ichida tegni toping. Ba’zi CMS’lar bitta sahifaga ikkita meta robots qo‘yib qo‘yadi — bir-biriga zid qiymatlar chalkashlik keltiradi.
2. Search Console’dagi URL tekshiruvi sahifada noindex topilganini ko‘rsatadi.
3. Yandex Vebmaster’dagi server javobini tekshirish vositasi robot ko‘radigan kodni ko‘rsatadi.

Sahifa indeksdan darhol chiqmaydi: robot uni qayta skanerlashi kerak. Jarayonni tezlashtirish uchun qayta skanerlash so‘rovini yuborish mumkin.

Ehtiyot bo‘ling

Noindex shablonga qo‘shilsa, u bitta sahifaga emas, minglab sahifalarga tarqaladi. Sayt yangilanishidan keyin xizmat va toifa sahifalarida noindex paydo bo‘lishi — trafik keskin tushishining tipik sababi. Har bir relizdan keyin asosiy sahifalarda tegni tekshirib qo‘yish odatini shakllantiring.