Bitrix uchun robots.txt: xizmat bo‘limlari va parametrli manzillarni yopish

robots.txt — sayt ildizida turadigan oddiy matnli fayl. Unda robotlar uchun taqiqlar yoziladi: qaysi papka va manzillarga kirmaslik kerak. Bitrix’da bu fayl ayniqsa muhim, chunki platforma ko‘p xizmat sahifalari va parametrli manzillar yaratadi.

Fayl qayerda tahrirlanadi

Faylni xosting orqali to‘g‘ridan-to‘g‘ri yoki Bitrix’ning SEO modulidagi robots.txt muharriri orqali o‘zgartirish mumkin. Muharrir tayyor qoidalar to‘plamini ham taklif qiladi — ularni qabul qilishdan oldin har birini tushunib oling.

Nimani yopish kerak

Xizmat papkalari:

• /bitrix/ ichidagi texnik fayllar — lekin sahifa ko‘rinishi uchun kerak bo‘lgan CSS, JS va rasmlar emas
• /upload/ ichidagi vaqtinchalik papkalar (agar u yerda rasmlar bo‘lsa, ularni ochiq qoldiring)
• /local/ va /cgi-bin/ kabi xizmat joylari

Foydalanuvchi sahifalari:

• Shaxsiy kabinet, avtorizatsiya, ro‘yxatdan o‘tish
• Savat va buyurtma rasmiylashtirish
• Sayt ichidagi qidiruv natijalari

Parametrli manzillar:

• Saralash va ko‘rinish: sort, order, view kabi parametrlar
• Sessiya va avtorizatsiya parametrlari
• Chop etish versiyasi
• Filtrning texnik manzillari (SEO uchun tanlangan filtr sahifalari bundan mustasno)

Nimani yopmaslik kerak

• CSS va JS fayllar. Google sahifani brauzer kabi ko‘radi. Agar uslublar yopilgan bo‘lsa, u sahifani buzilgan deb tushunishi mumkin. Bitrix shablon fayllari ko‘pincha /bitrix/templates/ yoki /local/templates/ ichida — ularga ruxsat bering
• Mahsulot rasmlari. Rasm qidiruvi ham trafik manbai
• Muhim bo‘limlar. Sayt yangilangandan keyin «Disallow: /» qolib ketishi — eng xavfli xato

Sahifalash

PAGEN_1 kabi parametrli sahifalash manzillarini yopish yoki ochiq qoldirish — munozarali savol. Agar mahsulotlarga faqat sahifalash orqali yetib borish mumkin bo‘lsa, ularni butunlay yopish robotning ichkari sahifalarni topishini qiyinlashtiradi. Ko‘pincha yaxshiroq yechim — sahifalashni ochiq qoldirish va bo‘lim tuzilmasi hamda sayt xaritasi orqali barcha mahsulotlarni yetkazish.

Yandex uchun Clean-param

Yandex parametrlarni olib tashlash uchun maxsus Clean-param ko‘rsatmasini qo‘llab-quvvatlaydi. U robotga parametr sahifa mazmunini o‘zgartirmasligini va bunday manzillarni asosiy manzilga birlashtirish mumkinligini bildiradi. Google bu ko‘rsatmani hisobga olmaydi, shuning uchun u uchun canonical kerak.

Sitemap qatori

Fayl oxirida sayt xaritasi manzilini to‘liq ko‘rinishda ko‘rsating. Bitrix bir nechta xarita fayli yaratsa — indeks faylini yozing.

robots.txt indeksdan chiqarmaydi

Muhim farq: robots.txt skanerlashni taqiqlaydi, indeksatsiyani emas. Agar sahifa allaqachon indeksda bo‘lsa va unga havolalar bo‘lsa, u yopilgandan keyin ham qidiruvda qolishi mumkin. Indeksdan chiqarish uchun sahifani ochiq qoldirib, unga noindex qo‘yish kerak.

Tekshirish

1. Fayl sayt.uz/robots.txt manzilida ochiladi
2. Yandex Vebmaster’dagi tahlil vositasida muhim manzillar ruxsat etilganini tekshiring
3. Search Console’dagi robots.txt hisobotida xatolar yo‘qligini ko‘ring
4. Skanerni robots.txt qoidalariga rioya qilish rejimida ishga tushirib, katalog va mahsulotlar topilishini tekshiring