Vebmaster’da server javobini tekshirish: kodlar va ular bilan nima qilish

Sahifa brauzerda yaxshi ochilsa ham, qidiruv roboti boshqa javob olishi mumkin: xato kodi, yo‘naltirish, bloklash sahifasi yoki bo‘sh kontent. Yandex Vebmaster’dagi server javobini tekshirish vositasi sahifani Yandex roboti nomidan so‘raydi va u nimani olganini ko‘rsatadi.

Vosita nimani ko‘rsatadi

• HTTP javob kodi
• Javob sarlavhalari: kontent turi, kesh, yo‘naltirish manzili, X-Robots-Tag
• Javob vaqti
• Robot olgan sahifa kodi

Bu ma’lumot sahifa indeksga nega tushmayotganini yoki nega boshqa sahifa ko‘rsatilayotganini tushunishga yordam beradi.

Kodlar va ular bilan nima qilish

200 OK. Sahifa muvaffaqiyatli berildi. Agar sahifa baribir indeksda bo‘lmasa, sababni boshqa joydan qidiring: noindex, kanonik, sahifa sifati. Kontentni ham ko‘ring — ba’zan 200 bilan bo‘sh yoki xato sahifa beriladi.

301 va 302. Yo‘naltirish. Location sarlavhasida qayerga borishini tekshiring. Agar sahifa yo‘naltirilmasligi kerak bo‘lsa — server yoki CMS qoidalarini qarang. Doimiy ko‘chish uchun 301 ekaniga ishonch hosil qiling.

304 Not Modified. Sahifa robotning oxirgi tashrifidan beri o‘zgarmagan. Bu normal holat va server keshlash sarlavhalarini to‘g‘ri qo‘llayotganini bildiradi.

403 Forbidden. Kirish taqiqlangan. Ko‘pincha firewall, himoya xizmati yoki hosting sozlamalari robotni bot deb bloklaydi. Robotlarning IP manzillari yoki user-agent bo‘yicha istisnolarni tekshiring.

404 Not Found. Sahifa yo‘q. Agar u bo‘lishi kerak bo‘lsa — manzil, CMS’dagi nashr holati yoki marshrutlashni tekshiring. Agar sahifa ataylab o‘chirilgan bo‘lsa — bu to‘g‘ri javob.

410 Gone. Sahifa butunlay o‘chirilgan va qaytmaydi. Qidiruv tizimlari uni 404 ga o‘xshash tarzda indeksdan olib tashlaydi, lekin 410 niyatni aniqroq bildiradi.

5xx. Server xatosi. Bir martalik bo‘lsa — vaqtinchalik nosozlik bo‘lishi mumkin, takrorlansa — server jurnallari va hosting bilan ishlash kerak. Uzoq davom etadigan 5xx sahifalarning indeksdan chiqishiga olib keladi.

Javob vaqti

Agar vosita uzoq javob vaqtini ko‘rsatsa, bu robot saytni sekinroq skanerlashiga sabab bo‘lishi mumkin. Bir nechta sahifani turli vaqtda tekshiring: muammo doimiymi yoki faqat ba’zi soatlarda.

Robot ko‘rgan kontent

Javob ichidagi sahifa kodiga qarang. Kontent u yerda bormi? Agar sahifa faqat JavaScript bilan quriladigan bo‘lsa, kodda asosiy matn bo‘lmasligi mumkin. Shuningdek, meta robots tegi va kanonik tegni ham shu yerda tekshirish qulay.

Qachon ishlatish

• Sahifa indeksdan yo‘qolganda
• Saytni ko‘chirish yoki redirektlarni sozlashdan keyin
• Himoya xizmati yoki firewall o‘rnatilgandan keyin
• Vebmaster diagnostikasida server xatolari haqida xabar paydo bo‘lganda

Google uchun

Search Console’dagi URL tekshiruvi jonli test rejimida Google roboti ko‘rgan javobni ko‘rsatadi. Agar ikki tizimda natijalar farq qilsa — masalan, Yandex uchun 403, Google uchun 200 — muammo ko‘pincha bitta botni bloklaydigan himoya qoidalarida.