WordPress uchun robots.txt: nimani yopish va nimani yopmaslik kerak

robots.txt — sayt ildizidagi matnli fayl bo‘lib, qidiruv robotlariga qaysi bo‘limlarni skanerlash mumkin emasligini aytadi. WordPress’da u ko‘pincha keraksiz murakkablashtiriladi: internetdagi eski namunalar stil va skript papkalarini yopishni tavsiya qiladi, bu esa bugun zararli.

Virtual va jismoniy fayl

Agar sayt ildizida robots.txt fayli bo‘lmasa, WordPress uni virtual ravishda yaratadi: /robots.txt manzilini ochganingizda oddiy qoidalar ko‘rinadi. SEO plaginlari bu faylni tahrirlash imkonini beradi.

Agar ildizda jismoniy fayl joylashtirilgan bo‘lsa, u virtual faylni almashtiradi. Ikkalasining bir vaqtda o‘zgartirilishi chalkashlik keltiradi — qaysi biri ishlayotganini /robots.txt ni brauzerda ochib tekshiring.

Indeksatsiya va skanerlash farqi

Bu fayl robotning sahifaga kirishini cheklaydi, lekin sahifaning indeksda bo‘lishini to‘xtatmaydi. Tashqi saytlar yopiq sahifaga havola qilsa, u qidiruvda mazmunsiz ko‘rinishi mumkin. Sahifani qidiruvdan olib tashlash uchun noindex tegi ishlatiladi — va bu teg ishlashi uchun sahifa robots.txt’da yopilmagan bo‘lishi kerak, aks holda robot tegni ko‘rmaydi.

WordPress uchun oqilona minimum

Ko‘p saytlar uchun quyidagi mantiq yetarli:

• Administrator panelini yopish — /wp-admin/ papkasi, lekin admin-ajax.php faylini ochiq qoldirish, chunki ba’zi mavzu va plaginlar uni sayt qismida ishlatadi
• Ichki qidiruv natijalarini yopish — ?s= parametri bilan sahifalar
• Sayt xaritasi manzilini ko‘rsatish — Sitemap qatori

Administrator paneli va sayt xaritasi qatorlari WordPress’ning standart virtual faylida odatda allaqachon bor, ichki qidiruv bo‘yicha qoidani esa o‘zingiz qo‘shasiz — plagin muharriri yoki jismoniy fayl orqali.

Nimani yopmaslik kerak

• wp-content va wp-includes — bu papkalarda stil, skript va rasmlar. Ular yopilsa, qidiruv tizimi sahifani to‘g‘ri ko‘rsata olmaydi va uni mobil qurilmalar uchun noqulay deb hisoblashi mumkin
• Yuklangan rasmlar — ular rasmlar qidiruvidan trafik olib kelishi mumkin
• Rubrikalar va teglar — agar ularni qidiruvdan olib tashlash kerak bo‘lsa, noindex ishlating, robots.txt emas

Internet-do‘kon uchun qo‘shimcha

WooCommerce bilan ishlaydigan saytda savat, buyurtma va shaxsiy kabinet sahifalarini yopish mumkin. Filtr va saralash parametrlarini yopish haqida ehtiyotkor bo‘ling: agar ba’zi filtr sahifalari qidiruvda kerak bo‘lsa, ularni yopib qo‘ymang. Har bir qoidani sayt tuzilmasiga qarab tekshiring.

Eng xavfli xato

Ishlab chiqish paytida butun saytni yopish uchun «Disallow: /» qoidasi qo‘shiladi va sayt ishga tushganda unutiladi. Natijada sayt qidiruvdan butunlay yo‘qoladi. Har bir ishga tushirish va katta yangilanishdan keyin robots.txt’ni tekshiring. Shuningdek, WordPress o‘qish sozlamalaridagi qidiruv tizimlari uchun ko‘rinish belgisini ham tekshiring — u ham robotlarga taqiq signali beradi.

Tekshirish

• /robots.txt manzilini brauzerda oching va mazmunini o‘qing
• Search Console’da robots.txt holatini va skanerlash muammolarini ko‘ring
• Yandex Vebmaster’da robots.txt tahlil vositasi orqali alohida manzillar ruxsat etilgan yoki taqiqlanganini tekshiring
• Muhim sahifani URL tekshiruvi orqali ko‘rib, robots.txt uni bloklamayotganiga ishonch hosil qiling

Qisqasi

WordPress uchun robots.txt qisqa bo‘lishi kerak. Har bir qoida aniq maqsad bilan qo‘shilsin. Agar biror qatorning nima uchun borligini tushuntira olmasangiz, uni olib tashlash haqida o‘ylang.