Texnik SEO · 2026-yil 13-oktabr · 2 daqiqa o‘qish
robots.txt: robotlardan nimani yopish va nimaga tegmaslik kerak
Bu sahifa rus tilida: /blog/robots-txt
robots.txt — saytning ildizidagi matnli fayl bo‘lib, u qidiruv robotlariga qaysi bo‘limlarni skanerlamaslik kerakligini aytadi.
Asosiy direktivalar
- **User-agent** — qoida qaysi robotga tegishli
- **Disallow** — skanerlashni taqiqlash
- **Allow** — taqiqlangan bo‘lim ichida ruxsat
- **Sitemap** — sayt xaritasi manzili
Nimani yopish mumkin
- Administrator paneli
- Ichki qidiruv natijalari
- Savat va buyurtma rasmiylashtirish sahifalari
- Texnik parametrli dublikat sahifalar
Nimani yopmaslik kerak
- CSS va JavaScript fayllar — robot sahifani to‘g‘ri ko‘rishi uchun kerak
- Rasmlar — agar ular rasm qidiruvidan trafik keltirsa
- Muhim sahifalar — tasodifan
Muhim farq
robots.txt skanerlashni taqiqlaydi, indeksatsiyani emas. Agar yopilgan sahifaga boshqa joylardan havola bo‘lsa, u indeksda paydo bo‘lishi mumkin. Sahifani indeksdan olib tashlash uchun noindex tegidan foydalaning — va bunda sahifa robots.txt’da yopilmagan bo‘lishi kerak.
Ko‘p uchraydigan xatolar
- Sayt ishlab chiqilganda butun sayt yopilgan va ishga tushirilganda ochilmagan
- Muhim bo‘lim noto‘g‘ri yo‘l bilan yopilgan
- Sitemap ko‘rsatilmagan
Tekshirish
Search Console va Yandex Vebmaster’da robots.txt tahlil vositalari bor. Har bir o‘zgarishdan keyin muhim sahifalar ochiq ekanini tekshiring.
SEO auditiga ariza
Sayt manzili va telefon raqamingizni qoldiring — bog‘lanib, saytning qidiruvda o‘sishiga nima xalaqit berayotganini aytamiz.
Auditga buyurtma