Sitemap va robots.txt birgalikda: ikki fayl bir-birini qanday to‘ldiradi

Robots.txt va sitemap.xml ko‘pincha bir vaqtda tilga olinadi, lekin ularning vazifasi qarama-qarshi. Birinchisi cheklaydi, ikkinchisi taklif qiladi. To‘g‘ri sozlanganda ular robotga aniq xarita beradi: mana bu yerga kirma, mana bu sahifalar esa asosiy.

Har bir faylning vazifasi

Robots.txt — saytning ildizida turadigan matnli fayl. Unda qaysi robot saytning qaysi bo‘limlarini skanerlamasligi yoziladi: administrator paneli, savat, ichki qidiruv, texnik parametrlar.

Sitemap.xml — indeksga tushishi kerak bo‘lgan sahifalar ro‘yxati. U robotga sahifalarni topishga yordam beradi, ayniqsa ular ichki havolalar orqali chuqur joylashgan bo‘lsa yoki sayt yangi bo‘lsa.

Robots.txt ichida sayt xaritasini ko‘rsatish

Robots.txt’ga Sitemap direktivasi qo‘shiladi. U istalgan qatorga yozilishi mumkin va User-agent bloklariga bog‘liq emas:

User-agent: *
Disallow: /admin/
Disallow: /cart/
Disallow: /*?sort=

Sitemap: https://example.uz/sitemap.xml

Manzil to‘liq bo‘lishi kerak — protokol va domen bilan. Bir nechta xarita bo‘lsa, har birini alohida qatorga yozish yoki bitta indeks faylni ko‘rsatish mumkin. Bu direktivani Google ham, Yandex ham o‘qiydi, shuning uchun xaritani har bir panelga qo‘lda qo‘shmagan bo‘lsangiz ham robot uni topadi.

Asosiy qoida: ziddiyat bo‘lmasin

Eng ko‘p uchraydigan muammo — sayt xaritasida robots.txt orqali yopilgan sahifalar bor. Robotga bir vaqtning o‘zida «bu muhim sahifa» va «bu yerga kirma» deyiladi. Search Console bunday holatlarni ogohlantirish sifatida ko‘rsatadi.

Sayt xaritasida bo‘lmasligi kerak:

• robots.txt’da Disallow bilan yopilgan manzillar
• noindex tegi bor sahifalar
• Boshqa sahifaga yo‘naltiriladigan manzillar
• 404 yoki serverda xato beradigan sahifalar
• Kanonik teg boshqa manzilga ishora qiladigan nusxalar

Ya’ni xaritada faqat 200 kodini qaytaradigan, ochiq va kanonik sahifalar qoladi.

Ziddiyatlarni qanday topish

1. Sayt xaritasidagi barcha manzillarni krauler yordamida ro‘yxat rejimida tekshiring — har birining javob kodi, noindex va kanonik holati ko‘rinadi.
2. Search Console’dagi sayt xaritalari hisobotida va indeksatsiya bo‘limida «robots.txt tomonidan bloklangan» holatini qidiring.
3. Yandex Vebmaster’da robots.txt tahlilchisiga xaritadagi bir nechta manzilni kiritib ko‘ring — qaysi qoida ularni yopayotgani ko‘rinadi.

O‘zbek va rus versiyali saytlar

Agar sayt /ru/ va /uz/ papkalarida ishlasa, ikkala til versiyasi ham xaritada bo‘lishi kerak. Robots.txt’dagi qoidalar esa ikkala papkaga bir xil ta’sir qilishini tekshiring: masalan, /ru/search/ yopilgan, lekin /uz/qidiruv/ unutilgan bo‘lishi mumkin.

Har oyda bir marta

Sayt o‘zgargan sari ikkala fayl ham eskiradi: yangi bo‘limlar qo‘shiladi, eski parametrlar yo‘qoladi. Oylik texnik tekshiruvga ikki faylni solishtirishni kiriting — bu bir necha daqiqa oladi va indeksatsiyadagi g‘alati muammolarning bir qismini oldini oladi.