Yandex uchun robotlar txt-ni qanday qilish kerak. Yandex robotlari. Google qidiruv robotlari

Muammoni hal qilish

Yandex va Google brauzerlari sayt sahifalariga tashrif buyuradi, kontentni baholaydi, qidiruv tizimining indeks ma'lumotlar bazasiga sahifalar haqida yangi manbalar va ma'lumotlarni qo'shadi. Botlar kontent yangilanishlarini ma'lumotlar bazasiga o'tkazish uchun muntazam ravishda sahifalarga tashrif buyuradi, yangi havolalar ko'rinishini va ularning mavjudligini qayd qiladi.

Nima uchun skanerlash kerak:

  1. Indeks yaratish uchun ma'lumotlarni to'plang - yangi sahifalar va eskilariga yangilanishlar haqida ma'lumot.
  2. Indeksdagi va skanerlash ro'yxatidagi URL-manzillarni solishtiring.
  3. Ikki marta yuklab olishning oldini olish uchun takroriy URL manzillarni navbatdan olib tashlang.

Botlar saytning barcha sahifalariga qaramaydi. Raqam skanerlash byudjeti bilan cheklanadi, ya'ni brauzer bot skanerlashi mumkin bo'lgan URL manzillar soni. Katta hajmli veb-sayt uchun byudjet etarli bo'lmasligi mumkin. Tekshiruv byudjeti ahamiyatsiz yoki "keraksiz" sahifalarni skanerlashga sarflanishi xavfi mavjud va buning oldini olish uchun veb-ustalar fayldan foydalanib brauzerlarni boshqaradi. robots.txt.

Botlar saytga kirib, robots.txt faylini ildiz katalogidan topadi, sahifalarga kirishni tahlil qiladi va sayt xaritasiga o'tadi - yopiq havolalarga kirmasdan skanerlash vaqtini qisqartirish uchun. Faylni o'rganib chiqqandan so'ng, botlar asosiy sahifaga o'tadi va u erdan saytga chuqurroq kiradi.

Brauzer qaysi sahifalarni tezroq tekshiradi:

  1. Ular asosiyga yaqinroq joylashgan.
    Sahifaga olib boradigan asosiy sahifadan qanchalik kam bosish bo'lsa, u qanchalik muhim bo'lsa va unga brauzer tomonidan tashrif buyurish ehtimoli shunchalik yuqori bo'ladi. Asosiy sahifadan joriy sahifaga o'tishlar soni (DFI) deb ataladi.
  2. Ko'p havolalarga ega bo'ling.
    Agar ko'pchilik sahifaga havola qilsa, bu uning foydali va yaxshi obro'ga ega ekanligini anglatadi. Har bir sahifada taxminan 11-20 havola normal hisoblanadi va o'zingizning materiallaringiz orasidagi bog'lanish ham hisobga olinadi.
  3. Tez yuklanadi.
    Agar u sekin bo'lsa, yuklab olish tezligini tekshiring - va.

Barcha brauzer botlariga tashriflar Google Analytics kabi vositalar tomonidan qayd etilmaydi, ammo botning xatti-harakatlarini jurnal fayllarida kuzatish mumkin. Katta saytlarning ba'zi SEO muammolarini hal qilish mumkin, bu sizga havolalar va skanerlash byudjetini taqsimlash bilan bog'liq muammolarni ko'rishga yordam beradi.

Yandex va Google uchun Robots.txt

Veb-ustalar robots.txt fayli yordamida saytdagi brauzer botlarining harakatini boshqarishi mumkin. Robots.txt indekslash bo'yicha ko'rsatmalarga ega qidiruv robotlari uchun matn fayli. Unda saytdagi qaysi sahifalar va fayllarni skanerlash mumkin emasligi aytiladi, bu esa botlarga serverga so'rovlar sonini kamaytirish va ma'lumotsiz, bir xil va ahamiyatsiz sahifalarga vaqt sarflamaslik imkonini beradi.

Robots.txt da siz barcha fayllarga kirishni ochishingiz yoki bloklashingiz yoki qaysi fayllarni skanerlash va qaysi birini skanerlash mumkin emasligini alohida belgilashingiz mumkin.

robots.txt uchun talablar:

  • fayl "deb nomlangan robots.txt", ism faqat kichik harflar bilan yoziladi, "Robots.TXT" va boshqa o'zgarishlar qo'llab-quvvatlanmaydi;
  • faqat ildiz katalogida joylashgan - https://site.com/robots.txt, pastki katalogda bo'lishi mumkin emas;
  • veb-saytda bitta nusxada;
  • .txt formatiga ega;
  • og'irligi 32 KB gacha;
  • so'rovga javoban HTTP kodini bilan qaytaradi;
  • alohida satrdagi har bir URL prefiksi;
  • faqat lotin harflarini o'z ichiga oladi.

Agar domen kirill alifbosida bo'lsa, robots.txt uchun barcha kirill havolalarini Punycode-ga istalgan Punycode konvertori yordamida tarjima qiling: “site.rf” - “xn--80aswg.xn--p1ai”.

Robots.txt HTTP, HTTPS va FTP uchun amal qiladi, UTF-8 yoki ASCII kodlangan va faqat xost, protokol va u joylashgan port raqamiga qaratilgan.

Uni pastki domenli manzillarga qo'shish mumkin - http://web.site.com/robots.txt yoki nostandart portlar - http://site.com:8181/robots.txt. Agar saytingizda bir nechta subdomenlar bo'lsa, faylni ularning har birining ildiz katalogiga joylashtiring.

Robots.txt yordamida sahifalarni indekslashdan qanday chiqarib tashlash mumkin

Robots.txt faylida siz botlarning ba'zi tarkiblarni indekslashini oldini olishingiz mumkin.

Foydalanuvchi-agent: * Ruxsat bermaslik: /haqida/

"Ruxsat bermaslik: /haqida" formatini "/" ni yopishsiz yozish http://site.com/about/ bo'limiga, http://site.com/about.php fayliga va boshlanadigan boshqa havolalarga kirishni rad etadi. "/haqida" bilan.

Agar siz bir nechta bo'limlar yoki papkalarga kirishni rad etishingiz kerak bo'lsa, har biriga "Ruxsat bermaslik" bilan alohida qator kerak bo'ladi:

Foydalanuvchi-agent: * Ruxsat bermaslik: /haqida Ruxsat bermaslik: /maʼlumot Ruxsat bermaslik: /albom1

Ruxsat bering

Direktiv belgilangan qidiruv botlari uchun mavjud bo'lgan yo'llarni belgilaydi. Aslida, bu Disallow, aksincha - skanerlashga ruxsat beruvchi direktiv. Robotlar uchun qoida: taqiqlanmagan narsaga ruxsat beriladi, lekin ba'zida siz ma'lum bir faylga kirishga ruxsat berishingiz va boshqa ma'lumotlarni yopishingiz kerak.

"/katalog" bilan boshlanadigan hamma narsani skanerlashga ruxsat beriladi, ammo qolganlari taqiqlanadi:

Foydalanuvchi-agent: * Ruxsat berish: /katalog Ruxsat bermaslik: /

"photo.html" faylini skanerlashga ruxsat berilgan, ammo /album1/ katalogidagi barcha boshqa ma'lumotlar taqiqlangan:

Foydalanuvchi-agent: * Ruxsat berish: /album1/photo.html Ruxsat bermaslik: /album1/

"site.com/catalog1/" va "site.com/catalog2/" kataloglariga kirishni bloklang, lekin "catalog2/subcatalog1/" ga kirishga ruxsat bering:

Foydalanuvchi-agent: * Ruxsat berish: /catalog1/ Ruxsat berish: /catalog2/ Ruxsat berish: /catalog2/subcatalog1/

Bir sahifa uchun bir nechta qoidalar amal qiladi. Keyin robot URL prefiks uzunligi boʻyicha roʻyxatni eng kichikdan kattaga saralaydi va roʻyxatdagi oxirgi qoidaga amal qiladi.

Yandex botlari tan oladigan ko'rsatmalar:

Toza-param

Ba'zi sahifalar kontentga ta'sir qilmaydigan turli GET parametrlari yoki UTM teglari bilan takrorlanadi. Misol uchun, agar mahsulot katalogida saralash yoki boshqa identifikatorlar ishlatilgan bo'lsa.

book_id=123 kitobli sahifa qaysi manbadan soʻralganini kuzatish uchun quyidagi havoladan foydalaning:

"www.site.com/some_dir/get_book.pl?ref=site_1& book_id=123"
"www.site.com/some_dir/get_book.pl?ref=site_2& book_id=123"
"www.site.com/some_dir/get_book.pl?ref=site_3& book_id=123"

Kitob bilan sahifa bir xil, mazmuni o'zgarmaydi. Bot turli parametrlarga ega bo'lgan sahifalarning barcha versiyalarini skanerlashiga yo'l qo'ymaslik uchun Clean-param qoidasidan foydalaning:

Foydalanuvchi-agent: Yandex taqiqlash: Clean-param: ref/some_dir/get_book.pl

Yandex roboti barcha sahifa manzillarini bitta shaklga qisqartiradi:

"www.example.com/some_dir/get_book.pl? book_id=123"

Quyidagi kabi manzillar uchun:
"www.example2.com/index.php? page=1&sid=2564126ebdec301c607e5df"
"www.example2.com/index.php? page=1&sid=974017dcd170d6c4a5d76ae"

robots.txt faylida quyidagilar bo'ladi:

Foydalanuvchi-agent: Yandex taqiqlash: Clean-param: sid/index.php

kabi manzillar uchun

"www.example1.com/forum/showthread.php?s=681498b9648949605&t=8243"
"www.example1.com/forum/showthread.php?s=1e71c4427317a117a&t=8243"

robots.txt faylida quyidagilar bo'ladi:

Foydalanuvchi-agent: Yandex ruxsat bermaydi: Clean-param: s/forum/showthread.php

Agar bir nechta o'tish parametrlari mavjud bo'lsa:
"www.example1.com/forum_old/showthread.php?s=681498605&t=8243&ref=1311"
"www.example1.com/forum_new/showthread.php?s=1e71c417a&t=8243&ref=9896"

robots.txt faylida quyidagilar bo'ladi:

Foydalanuvchi-agent: Yandex ruxsat bermaydi: Clean-param: s&ref/forum*/showthread.php


Xost

Qoida indekslashda qaysi oynaga e'tibor berish kerakligini ko'rsatadi. URL manzili "http://"siz va "/" yopilish chizig'isiz yozilishi kerak.

Foydalanuvchi-agent: Yandex Taqiqlash: /Xost haqida: www.site.com

Endi bu ko'rsatma endi ishlatilmaydi, agar u robots.txt faylingizda bo'lsa, uni o'chirishingiz mumkin. Buning o'rniga, saytning barcha asosiy bo'lmagan oynalarida 301 yo'naltirishni o'rnatishingiz kerak.

Emaklash-kechikish

Ilgari sahifalarning tez-tez yuklanishi serverga yuklanar edi, shuning uchun botlar uchun Crawl-delay o'rnatildi - robotning yuklanishlar orasidagi soniyalarda kutish vaqti. Ushbu direktivani o'tkazib yuborish mumkin; kuchli serverlar buni talab qilmaydi.

Kutish vaqti - 4 soniya:

Foydalanuvchi-agent: * Ruxsat berish: /albom1 Ruxsat bermaslik: / Ko‘rish kechikishi: 4

Faqat lotin

Noto'g'ri:

Foydalanuvchi-agent: Yandex Disallow: /katalog

To'g'ri:

Foydalanuvchi-agent: Yandex taqiqlash: /xn--/-8sbam6aiv3a

Misol robots.txt

Kirish qoida barcha robotlar uchun amal qiladi degan ma'noni anglatadi: havolalarni savatdan, o'rnatilgan qidiruv va boshqaruv panelidan ko'rib chiqish taqiqlanadi, sayt xaritasi http://site.com/ sitemap havolasida joylashgan, ref get_book sahifasining mazmunini o'zgartirmaydi:

User-agent: * Ruxsat berish: /bin/ Ruxsat berish: /search/ Ruxsat berish: /admin/ Sayt xaritasi: http://site.com/sitemap Clean-param: ref/some_dir/get_book.pl

robots.txt ni kompilyatsiya qilish va tekshirish vositalari

robots.txt-ni bepul yarating yordam beradi, bu sizga botlar uchun butun saytni yopish yoki ochish, sayt xaritasiga yo'lni belgilash, sahifalarga kirishda cheklovlar o'rnatish, ba'zi robotlarga kirishni bloklash va kechikishlarni o'rnatish imkonini beradi:


To'ldirish uchun asboblar grafiklari

Uchun robots.txt faylida xatolar mavjudligini tekshirish Qidiruv mexanizmlarining o'z vositalari mavjud:

Googlening robots.txt fayllarini tekshirish vositasi botning ma'lum bir URL manzilini qanday ko'rishini tekshirish imkonini beradi. Maydonga tekshirish uchun URL manzilini kiritishingiz kerak va vosita havola mavjudligini ko'rsatadi.

Yandex-ning tekshirish vositasi fayl to'g'ri to'ldirilganligini ko'rsatadi. Siz robots.txt yaratilgan saytni belgilashingiz va uning mazmunini maydonga o'tkazishingiz kerak.

Robots.txt fayli shaxsiy fayllarga kirishni bloklash uchun mos emas, lekin u brauzerlarni sayt xaritasiga yo'naltiradi va muhim resurs materiallarini tezda skanerlash bo'yicha tavsiyalar beradi.

Robots.txt - qidiruv tizimi robotlari uchun sayt indekslash parametrlarini o'z ichiga olgan matnli fayl.

Fayl mazmuni bo'yicha tavsiyalar

Yandex quyidagi ko'rsatmalarni qo'llab-quvvatlaydi:

Direktiv Nima qiladi
Foydalanuvchi-agent *
Ruxsat bermaslik
Sayt xaritasi
Toza-param
Ruxsat bering
Emaklash-kechikish
Direktiv Nima qiladi
Foydalanuvchi-agent * robots.txt-da keltirilgan qoidalar qo'llaniladigan robotni ko'rsatadi.
Ruxsat bermaslik Sayt bo'limlari yoki alohida sahifalarni indekslashni taqiqlaydi.
Sayt xaritasi Saytda joylashtirilgan Sayt xaritasi fayliga yo'lni belgilaydi.
Toza-param Robotga sahifa URL manzilida indekslashda e'tibordan chetda qolishi kerak bo'lgan parametrlar (masalan, UTM teglari) mavjudligini bildiradi.
Ruxsat bering Sayt bo'limlari yoki alohida sahifalarni indekslash imkonini beradi.
Emaklash-kechikish Qidiruv robotining bir sahifani yuklagandan keyin boshqasini yuklashni boshlashdan oldin kutishi uchun minimal intervalni (soniyalarda) belgilaydi.

* Majburiy direktiv.

Sizga ko'pincha "Ruxsat bermaslik", "Sayt xaritasi" va "Paramni tozalash" direktivalari kerak bo'ladi. Masalan:

User-agent: * # Disallow uchun direktivalar o'rnatilgan robotlarni belgilang: /bin/ # Savatchadagi havolalarni o'chirib qo'yadi. Ruxsat bermaslik: /search/ # saytga o'rnatilgan qidiruv sahifalariga havolalarni o'chirib qo'yadi Ruxsat bermaslik: /admin/ # boshqaruv panelidagi havolalarni o'chirib qo'yadi Sayt xaritasi: http://example.com/sitemap # robot uchun saytning sayt xaritasi faylini belgilang Clean-param: ref /some_dir/get_book.pl

Boshqa qidiruv tizimlari va xizmatlarining robotlari ko'rsatmalarni boshqacha talqin qilishlari mumkin.robots.txt fayli robot tomonidan hisobga olinishi kerak, u saytning asosiy katalogida joylashgan bo'lishi va HTTP 200 kodi bilan javob berishi kerak. Indekslash roboti boshqa saytlarda joylashgan fayllardan foydalanishni qo'llab-quvvatlamaydi.

Asbob yordamida serverning javobini va robots.txt ning robotga kirish imkoniyatini tekshirishingiz mumkin.

Agar sizning robots.txt faylingiz boshqa robots.txt fayliga yo'naltirsa (masalan, saytni ko'chirishda), Yandex.Webmaster-ga qayta yo'naltiruvchi saytni qo'shing va ushbu saytni boshqarish huquqlarini tekshiring.

Sayt uchun robots.txt faylini yaratish bo'yicha batafsil ko'rsatmalar. Robots.txt veb-saytni to'liq qidiruv tizimini optimallashtirishning eng zarur jihatlaridan biridir. Ushbu fayldan to'g'ri foydalanish shartlariga rioya qilish orqali siz saytda ma'lum ijobiy ta'sirga erishishingiz mumkin. Ko'pgina PS uchun turli xil ko'rsatmalarni belgilash mumkin. Bu qidiruv botiga saytning sahifalari, kataloglari yoki bo'limlarini skanerlash uchun kerakli cheklovlar yoki ruxsatlarni bildiradi.

Maqolaning mazmuni:

Robots.txt fayli - asosiy ta'rif

Robots.txt - 1944 yil yanvar oyida qabul qilingan qidiruv agentlari (botlar) uchun ma'lum istisno standartlariga ega. Ushbu faylning qoidalari ixtiyoriy ravishda eng keng tarqalgan PS tomonidan amalga oshiriladi. Fayl bir yoki bir nechta qoidalardan iborat bo'lishi mumkin, ularning har biri qidiruv robotiga saytdagi ma'lum yo'llarga kirishni bloklaydi yoki ruxsat beradi.

Odatiy bo'lib, bu fayl saytda yo'q - bu barcha PS ga barcha sayt tarkibini indekslash uchun to'liq ruxsat beradi. Bunday ruxsatnoma saytning muhim texnik sahifalarining qidiruv tizimi indeksiga kiritilishiga olib kelishi mumkin, ular bo'lmasligi kerak.

Nima uchun Robots.txt veb-saytga kerak - uning qidiruv tizimini reklama qilishga ta'siri

Robots.txt veb-sayt qidiruv tizimini optimallashtirishda eng muhim omil hisoblanadi. Qidiruv botlari uchun to'g'ri belgilangan qoidalar to'plami tufayli qidiruvda sayt reytingida ma'lum o'sishga erishish mumkin. Ushbu ko'rsatmalar nima beradi:

  1. Saytning ma'lum sahifalari, bo'limlari va kataloglarini indekslashdan qulflangan.
  2. Foydali tarkibga ega bo'lmagan sahifalar bundan mustasno.
  3. Ikki nusxadagi sahifalarni yo'q qilish va boshqalar.

Aksariyat saytlar uchun bunday indekslash cheklovlari shunchaki zarur; kichik to'liq sahifalar ixtiyoriy. Biroq, har bir saytga ma'lum ko'rsatmalar qo'shilishi kerak. Masalan, indekslashni taqiqlash:

  1. Ro'yxatdan o'tish sahifalari, administratorga kirish, parolni tiklash.
  2. Texnik kataloglar.
  3. Rss - sayt tasmasi.
  4. Replytocom va boshqa narsalar.

Qanday qilib o'zingiz to'g'ri Robors.txt yaratishingiz mumkin

Robots.txt faylini yaratishda hatto yangi boshlanuvchilar ham qiyinchiliklarga duch kelmasligi kerak. Muayyan harakatlar ketma-ketligiga rioya qilish kifoya:

  1. Robots.txt matnli hujjat bo'lib, har qanday mavjud matn muharriri tomonidan yaratilgan.
  2. Fayl kengaytmasi .txt bo'lishi kerak.
  3. Ism talab qilinadigan robotlar.
  4. Bitta saytda faqat bitta faylga ruxsat beriladi.
  5. Faqat saytning asosiy katalogiga joylashtirilgan.

Oddiy matn muharriridan (muqobil sifatida bloknot) foydalanishingiz kerak. Biz .txt formatidagi hujjat va robotlar nomini yaratamiz. Keyin biz FTP mijozi yordamida ushbu hujjatni saqlaymiz va saytning asosiy katalogiga o'tkazamiz. Bu bajarilishi kerak bo'lgan asosiy qadamlar.

Onlayn xizmatlar yordamida Robots.txt yaratish

Bu usul eng sodda va tezkor bo'lib, Robots.txt-ni o'zlari yaratishdan qo'rqadigan yoki oddiygina dangasa bo'lganlar uchun javob beradi. Ushbu faylni yaratishni taklif qiluvchi juda ko'p xizmatlar mavjud. Ammo bu usul bilan bog'liq ba'zi nuanslarni ko'rib chiqishga arziydi. Masalan:

  1. Agentga nimani taqiqlash yoki ruxsat berishni xohlayotganingizni oldindan ko'rib chiqish kerak.
  2. Tayyor faylni saytga yuklashdan oldin uni tekshirish kerak.
  3. Ehtiyot bo'ling, chunki noto'g'ri yaratilgan Robots.txt onlayn fayli halokatli vaziyatga olib keladi. Shunday qilib, qidiruv saytning apriori bo'lmasligi kerak bo'lgan texnik va boshqa sahifalarini o'z ichiga olishi mumkin.

Shunga qaramay, to'g'ri moslashtirilgan robotlarni yaratish uchun vaqt va kuch sarflash yaxshiroqdir. Shu tarzda, siz saytingizga mos keladigan taqiqlar va ruxsatlarning aniq asosli tuzilmasini qayta yaratishingiz mumkin.

Robots.txt faylining sintaksisini tahrirlash va to'g'rilash

Robots.txt muvaffaqiyatli yaratilgandan so'ng uni o'zingiz xohlagancha osongina tahrirlashingiz va o'zgartirishingiz mumkin. Bunday holda, siz ba'zi qoidalarni hisobga olishingiz va sintaksisni to'g'rilashingiz kerak. Vaqt o'tishi bilan siz ushbu faylni qayta-qayta o'zgartirasiz. Lekin unutmang, tahrir qilgandan so'ng, ushbu faylni saytga yuklashingiz kerak bo'ladi. Shunday qilib, qidiruv robotlari uchun uning tarkibini yangilaydi.

Robots.txt-ni yozish juda oddiy, buning sababi bu faylning juda oddiy dizayn tuzilishidir. Qoidalarni yozishda asosiy narsa qat'iy belgilangan sintaksisdan foydalanishdir. Ushbu qoidalarga deyarli barcha asosiy PSlar ixtiyoriy ravishda amal qiladi. Robots.txt faylida ko'p xatolarga yo'l qo'ymaslik uchun ba'zi qoidalar ro'yxati:

  1. Bitta satrda bir nechta ko'rsatilgan direktivalar bo'lmasligi kerak.
  2. Har bir qoida yangi satrdan boshlanadi.
  3. Chiziq boshida bo'sh joy olib tashlandi.
  4. # belgisidan keyin fikr bildirishga ruxsat beriladi.
  5. Bo'sh robotlar indekslash uchun to'liq ruxsat sifatida ko'rib chiqiladi.
  6. Bu fayl faqat yaroqli "robotlar" formatida nomlanishi mumkin.
  7. Fayl hajmi 32 kb dan oshmasligi kerak.
  8. Allow va Disallow direktivalarida faqat bitta qoidaga ruxsat berilgan. Allow: yoki Disallow: so‘ng bo‘sh qiymat to‘liq ruxsatga teng.
  9. Barcha qoidalar kichik harflar bilan yozilishi kerak.
  10. Fayl har doim mavjud bo'lishi kerak.
  11. Belgilangan qoidalardan keyingi bo'sh satr User-agent direktivasi qoidalarining to'liq tugashini bildiradi.
  12. Har bir PS uchun qoidalarni alohida belgilash tavsiya etiladi.
  13. Agar qoida sayt katalogi bo'lsa, uning oldiga slash (/) qo'yishni unutmang.
  14. Satrda yoki qoidada qo'shtirnoq bo'lmasligi kerak.
  15. Sizning saytingizga mos kelmaydigan qoidalarning qat'iy tuzilishini hisobga olish kerak.
  16. Robots.txt minimalist bo'lishi va uzatilayotgan xabarni aniq etkazishi kerak.

Robots.txt faylining to'g'ri konfiguratsiyasi - buyruqni to'g'ri yozish

Robotlardan foydalanishda ijobiy natijaga erishish uchun siz uni to'g'ri sozlashingiz kerak. Ushbu yo'riqnoma faylidagi barcha asosiy buyruqlar Google va Yandex eng yirik qidiruv tizimlari tomonidan ta'qib qilinadi. Boshqa PSlar ba'zi ko'rsatmalarni e'tiborsiz qoldirishi mumkin. Robots.txt ni ko'pchilik qidiruv tizimlariga qanday javob berish mumkin? Bu erda siz yuqorida muhokama qilingan ushbu fayl bilan ishlashning asosiy qoidalarini tushunishingiz kerak.
Keling, asosiy buyruqlarni ko'rib chiqaylik:

Foydalanuvchi-Agent: *— ko'rsatmalar mutlaqo barcha ps botlariga tegishli bo'ladi. Bundan tashqari, alohida qidiruv tizimlarini alohida belgilash mumkin, masalan: User-Agent: GoogleBot va User-Agent: YandexBot. Shu tarzda, muhim PS uchun qoidalar to'g'ri belgilanadi.

Ruxsat bermaslik:— (sahifa, katalog yoki fayllarni) skanerlash va indekslashni butunlay taqiqlaydi.

Ruxsat bering:— (sahifa, katalog yoki fayllarni) skanerlash va indekslashga toʻliq ruxsat beradi.

Toza parametr:— dinamik tarkibga ega sayt sahifalarini chiqarib tashlash uchun zarur. Ushbu qoida tufayli siz saytdagi takroriy tarkibdan xalos bo'lishingiz mumkin.

Tekshirish kechikishi:— qoida p-botlar uchun saytdan hujjatlarni yuklab olish uchun vaqt oralig'ini belgilaydi. Serverdagi yukni sezilarli darajada kamaytirish imkonini beradi. Masalan: "Krawl-kechikish: 5" - robotga saytdan hujjatlarni har 5 soniyada bir martadan ko'p bo'lmagan holda yuklab olish mumkinligini aytadi.

Xost: your_site.ru— saytning asosiy oynasi uchun javobgardir. Ushbu ko'rsatma saytning ustuvor versiyasini ko'rsatishi kerak.

Sayt xaritasi: http://your_site.ru/sitemap.xml— siz taxmin qilganingizdek, ushbu direktiv p-botga saytda Sayt xaritasi mavjudligi haqida xabar beradi.

# — izoh qoldirish imkonini beradi. Siz faqat xesh belgisidan keyin fikr bildirishingiz mumkin. U yangi qatorga yoki direktivaning davomi sifatida joylashtirilishi mumkin. Ko'rsatmalardan o'tishda ushbu variantlarning barchasi botlar tomonidan e'tiborga olinmaydi.

Barcha asosiy kontentni boshqarish tizimlari (CMS) uchun Robots.txs misollari

Ko'rsatmalarni nusxalash uchun siz maslahat bilan tugmani bosishingiz kerak.

WordPress (WP)

Foydalanuvchi-Agent: *

Ruxsat bering: /wp-content/uploads/

Ruxsat bermaslik: /wp-login.php

Ruxsat bermaslik: /wp-register.php

Ruxsat bermaslik: /xmlrpc.php

Ruxsat bermaslik: /template.html

Ruxsat bermaslik: /wp-admin

Ruxsat bermaslik: /wp-includes

Ruxsat bermaslik: /wp-content

Ruxsat bermaslik: /category

Ruxsat bermaslik: /arxiv

Ruxsat bermaslik: */trackback/

Ruxsat bermaslik: */feed/

Ruxsat bermaslik: */comments/

Ruxsat bermaslik: /?feed=

Xost: site.ru
»


HostCMS

Foydalanuvchi-agent: *

Ruxsat bermaslik: captcha.php

Ruxsat bermaslik: download_file.php

Xost: site.ru
Sayt xaritasi: http://site.ru/sitemap.xml

Joomla

Foydalanuvchi-agent: *

Ruxsat bermaslik: /administrator/

Ruxsat bermaslik: /kesh/

Ruxsat bermaslik: /komponentlar/

Ruxsat bermaslik: /rasmlar/

Ruxsat bermaslik: / o'z ichiga oladi /

Ruxsat bermaslik: /o'rnatish/

Ruxsat bermaslik: /language/

Ruxsat bermaslik: /libraries/

Ruxsat bermaslik: /media/

Ruxsat bermaslik: /modullar/

Ruxsat bermaslik: /plugins/

Ruxsat bermaslik: /shablonlar/

Ruxsat bermaslik: /xmlrpc/

Xost: site.ru
Sayt xaritasi: http://site.ru/sitemap.xml

Joomla 3

Foydalanuvchi-agent: *

Ruxsat bermaslik: /administrator/

Ruxsat bermaslik: /kesh/

Ruxsat bermaslik: / o'z ichiga oladi /

Ruxsat bermaslik: /o'rnatish/

Ruxsat bermaslik: /language/

Ruxsat bermaslik: /libraries/

Ruxsat bermaslik: /media/

Ruxsat bermaslik: /modullar/

Ruxsat bermaslik: /plugins/

Ruxsat bermaslik: /shablonlar/

Ruxsat bermaslik: /xmlrpc/

MODx Evo

Foydalanuvchi-agent: *

Ruxsat bermaslik: /assets/kesh/

Ruxsat bermaslik: /assets/docs/

Ruxsat bermaslik: /aktivlar/eksport/

Ruxsat bermaslik: /assets/import/

Ruxsat bermaslik: /aktivlar/modullar/

Ruxsat bermaslik: /assets/plugins/

Ruxsat bermaslik: /assets/snippets/

Ruxsat bermaslik: /install/

Ruxsat bermaslik: /menejer/

Ruxsat bermaslik: /index.php

Xost: vash_sait.ru (yoki www.vash_sait.ru)
Sayt xaritasi: http://XML formatidagi xaritangizga yo'l

NetCat

Foydalanuvchi-Agent: *

Ruxsat bermaslik: /install/

Ruxsat bermaslik: /havolalar/

Ruxsat bermaslik: /netcat/

Ruxsat bermaslik: /netcat_files/

Ruxsat bermaslik: /*.swf

Xost: vash_sait.ru (yoki www.vash_sait.ru)
Sayt xaritasi: http://XML formatidagi xaritangizga yo'l

MODX

Foydalanuvchi-agent: *

Ruxsat bermaslik: /assets/kesh/

Ruxsat bermaslik: /assets/docs/

Ruxsat bermaslik: /aktivlar/eksport/

Ruxsat bermaslik: /assets/import/

Ruxsat bermaslik: /aktivlar/modullar/

Ruxsat bermaslik: /assets/plugins/

Ruxsat bermaslik: /assets/snippets/

Ruxsat bermaslik: /install/

Ruxsat bermaslik: /menejer/

Xost: site.ru
Sayt xaritasi: http://site.ru/sitemap.xml

OpenCart

Foydalanuvchi-agent: *

Ruxsat bermaslik: /*route=account/

Ruxsat bermaslik: /*route=affiliate/

Ruxsat bermaslik: /*route=checkout/

Ruxsat bermaslik: /*route=product/search

Ruxsat bermaslik: /index.php?route=product/product*&manufacturer_id=

Ruxsat bermaslik: /admin

Ruxsat bermaslik: /katalog

Ruxsat bermaslik: /download

Ruxsat bermaslik: / eksport

Ruxsat bermaslik: / system

Ruxsat bermaslik: /*?sort=

Ruxsat bermaslik: /*&sort=

Ruxsat bermaslik: /*?order=

Ruxsat bermaslik: /*&order=

Ruxsat bermaslik: /*?limit=

Ruxsat bermaslik: /*&limit=

Ruxsat bermaslik: /*?filtr_name=

Ruxsat bermaslik: /*&filtr_nomi=

Ruxsat bermaslik: /*?filter_sub_category=

Ruxsat bermaslik: /*&filter_sub_category=

Ruxsat bermaslik: /*?filter_description=

Ruxsat bermaslik: /*&filter_description=

Ruxsat bermaslik: /*?tracking=

Ruxsat bermaslik: /*&tracking=

Ruxsat bermaslik: /*?page=

Ruxsat bermaslik: /*&page=

Ruxsat bermaslik: /wishlist

Ruxsat bermaslik: /login

Ruxsat bermaslik: /index.php?route=product/manufacturer

Ruxsat bermaslik: /index.php?route=product/compare

Ruxsat bermaslik: /index.php?route=product/category

Xost: vash_sait.ru (yoki www.vash_sait.ru)

UMI

Foydalanuvchi-Agent: *

Ruxsat bermaslik: /emarket/addToCompare

Ruxsat bermaslik: /emarket/basket

Ruxsat bermaslik: /go_out.php

Ruxsat bermaslik: /rasmlar

Ruxsat bermaslik: /images/lizing

Ruxsat bermaslik: /images/ntc

Ruxsat bermaslik: /files

Ruxsat bermaslik: /users

Ruxsat bermaslik: /admin

Ruxsat bermaslik: /search

Ruxsat bermaslik: /install-temp

Ruxsat bermaslik: /install-static

Ruxsat bermaslik: /install-libs

Xost: vash_sait.ru (yoki www.vash_sait.ru)
Sayt xaritasi: http://XML formatidagi xaritangizga yo'l

Amiro.CMS

Foydalanuvchi-agent: *

Ruxsat bermaslik: /admin

Ruxsat bermaslik: /_admin/

Ruxsat bermaslik: /a'zolar

Ruxsat bermaslik: /search

Ruxsat bermaslik: / obuna bo'lish

Ruxsat bermaslik: /users

Ruxsat bermaslik: /*offset=0

Ruxsat bermaslik: /*forum_ext=

Ruxsat bermaslik: /*_print_version=

Ruxsat bermaslik: /*action=export_rss

Ruxsat bermaslik: /*action=search

Ruxsat bermaslik: /*action=view_posts

Ruxsat bermaslik: /*display_form=

Xost: site.ru
Sayt xaritasi: http://site.ru/sitemap.xm

Bitrix

Foydalanuvchi-agent: *

Ruxsat bermaslik: /*index.php$

Ruxsat bermaslik: /bitrix/

Ruxsat bermaslik: /auth/

Ruxsat bermaslik: /shaxsiy/

Ruxsat bermaslik: /yuklash/

Ruxsat bermaslik: /search/

Ruxsat bermaslik: /*/search/

Ruxsat bermaslik: /*/slide_shou/

Ruxsat bermaslik: /*/galereya/*order=*

Ruxsat bermaslik: /*?print=

Ruxsat bermaslik: /*&print=

Ruxsat bermaslik: /*register=

Ruxsat bermaslik: /*forgot_password=

Ruxsat bermaslik: /*change_password=

Ruxsat bermaslik: /*login=

Ruxsat bermaslik: /*chiqish=

Ruxsat bermaslik: /*auth=

Ruxsat bermaslik: /*?action=

Ruxsat bermaslik: /*action=ADD_TO_COMPARE_LIST

Ruxsat bermaslik: /*action=DELETE_FROM_COMPARE_LIST

Ruxsat bermaslik: /*action=ADD2BASKET

Ruxsat bermaslik: /*action=BUY

Ruxsat bermaslik: /*bitrix_*=

Ruxsat bermaslik: /*backurl=*

Ruxsat bermaslik: /*BACKURL=*

Ruxsat bermaslik: /*back_url=*

Ruxsat bermaslik: /*BACK_URL=*

Ruxsat bermaslik: /*back_url_admin=*

Ruxsat bermaslik: /*print_course=Y

Ruxsat bermaslik: /*COURSE_ID=

Ruxsat bermaslik: /*?COURSE_ID=

Ruxsat bermaslik: /*?PAGEN

Ruxsat bermaslik: /*PAGEN_1=

Ruxsat bermaslik: /*PAGEN_2=

Ruxsat bermaslik: /*PAGEN_3=

Ruxsat bermaslik: /*PAGEN_4=

Ruxsat bermaslik: /*PAGEN_5=

Ruxsat bermaslik: /*PAGEN_6=

Ruxsat bermaslik: /*PAGEN_7=

Ruxsat bermaslik: /*PAGE_NAME=search

Ruxsat bermaslik: /*PAGE_NAME=user_post

Ruxsat bermaslik: /*PAGE_NAME=detail_slide_show

Ruxsat bermaslik: /*SHOWALL

Ruxsat bermaslik: /*show_all=

Xost: vash_sait.ru (yoki www.vash_sait.ru)
Sayt xaritasi: http://XML formatidagi xaritangizga yo'l

Drupal

Foydalanuvchi-agent: *

Ruxsat bermaslik: /ma'lumotlar bazasi/

Ruxsat bermaslik: / o'z ichiga oladi /

Ruxsat bermaslik: /misc/

Ruxsat bermaslik: /modullar/

Ruxsat bermaslik: /saytlar/

Ruxsat bermaslik: /themes/

Ruxsat bermaslik: /skriptlar/

Ruxsat bermaslik: /yangilanishlar/

Ruxsat bermaslik: /profillar/

Ruxsat bermaslik: /profile

Ruxsat bermaslik: /profil/*

Ruxsat bermaslik: /xmlrpc.php

Ruxsat bermaslik: /cron.php

Ruxsat bermaslik: /update.php

Ruxsat bermaslik: /install.php

Ruxsat bermaslik: /index.php

Ruxsat bermaslik: /admin/

Ruxsat bermaslik: /comment/reply/

Ruxsat bermaslik: /contact/

Ruxsat bermaslik: /chiqish/

Ruxsat bermaslik: /search/

Ruxsat bermaslik: /user/register/

Ruxsat bermaslik: /user/parol/

Ruxsat bermaslik: *ro'yxatdan o'tish*

Ruxsat bermaslik: *kirish*

Ruxsat bermaslik: /top-rated-

Ruxsat bermaslik: /xabarlar/

Ruxsat bermaslik: /book/export/

Ruxsat bermaslik: /user2userpoints/

Ruxsat bermaslik: /myuserpoints/

Ruxsat bermaslik: /tagadelic/

Ruxsat bermaslik: /referral/

Ruxsat bermaslik: /aggregator/

Ruxsat bermaslik: /files/pin/

Ruxsat bermaslik: /your-votes

Ruxsat bermaslik: /comments/so'nggi

Ruxsat bermaslik: /*/edit/

Ruxsat bermaslik: /*/delete/

Ruxsat bermaslik: /*/export/html/

Ruxsat bermaslik: /taksonomiya/term/*/0$

Ruxsat bermaslik: /*/edit$

Ruxsat bermaslik: /*/outline$

Ruxsat bermaslik: /*/revisions$

Ruxsat bermaslik: /*/contact$

Ruxsat bermaslik: /*downloadpipe

Ruxsat bermaslik: /node$

Ruxsat bermaslik: /tugun/*/track$

Ruxsat bermaslik: /*?page=0

Ruxsat bermaslik: /* bo'lim

Ruxsat bermaslik: /*order

Ruxsat bermaslik: /*?sort*

Ruxsat bermaslik: /*&sort*

Ruxsat bermaslik: /*votesupdown

Ruxsat bermaslik: /* kalendar

Ruxsat bermaslik: /*index.php

Xost: vash_sait.ru (yoki www.vash_sait.ru)
Sayt xaritasi: http://XML formatidagi xaritangizga yo'l

Google yoki Yandex yordamida Robots.txt ni qanday tekshirish mumkin

G'alati, bu faylni tekshirish uchun faqat Google yoki Yandex veb-master panellari kerak bo'ladi. Bu esa, o'z navbatida, xatolarni topishni ancha osonlashtiradi.

Google Webmaster— chap menyuda “Skanerlash” ni, so‘ngra “Robots.txt faylni tekshirish vositasi” yorlig‘ini tanlang. Keyin, paydo bo'lgan oynaning pastki qatoriga fayl nomini qo'shing. Keyin "Tekshirish" tugmasini bosing va Google boti sizning robotlaringizni qanday ko'rishini ko'ring.

Yandex veb-ustasi— chap menyuda “Asboblar” va “Analysis Robots.txt” ni tanlang. Shundan so'ng, paydo bo'lgan oynada "Tekshirish" tugmasini bosing.

Shuni ta'kidlash kerakki, ushbu faylni tekshirish uchun ko'plab onlayn validatorlar mavjud. Men har doim qo'lda bo'lgan eng qulaylari haqida gapirdim.

Xulosa

Barcha saytlar uchun bitta ideal robot yozish mumkin emas. Buning sababi saytlarning o'zi bo'lib, ularning ba'zilari qo'lda yaratilgan, boshqalari esa turli CMSlarda joylashgan. Mutlaqo barcha saytlar boshqa katalog tuzilishi va boshqa narsalarga ega. Shuning uchun, har bir Webmaster oddiygina p-botlar uchun o'ziga xos qoidalar to'plamini yaratishi shart. Bunday fayl sizning ustuvorliklaringizga javob beradi va maxfiy ma'lumotlarni qidirishga kirishga ruxsat bermaydi. Buning yordamida indeks keraksiz axlatsiz yuqori sifatli tarkibni o'z ichiga oladi.

  • Ushbu mavzu bo'yicha maqolalarni o'qing:

Ko'pgina veb-saytlar uchun robot.txt fayli talab qilinadi.

Har bir SEO optimallashtiruvchisi ushbu faylning ma'nosini tushunishi va eng mashhur ko'rsatmalarni yozishi kerak.

To'g'ri tuzilgan robotlar saytning qidiruv natijalaridagi o'rnini yaxshilaydi va boshqa reklama usullari qatorida samarali SEO vositasidir.

Robot.txt nima ekanligini va u qanday ishlashini tushunish uchun qidiruv tizimlari qanday ishlashini eslaylik.

Buni tekshirish uchun manzil satriga ildiz domeningizni kiriting, so'ng URL oxiriga /robots.txt qo'shing.

Masalan, Moz robot fayli quyidagi manzilda joylashgan: moz.com/robots.txt. Biz kiramiz va sahifani olamiz:

"Robot" uchun ko'rsatmalar

robots.txt faylini qanday yaratish mumkin?

robots.txt uchun 3 turdagi ko'rsatmalar.

Agar robots.txt faylingiz etishmayotganligini aniqlasangiz, uni yaratish oson.

Maqolaning boshida aytib o'tilganidek, bu saytning asosiy katalogidagi oddiy matn fayli.

Buni administrator paneli yoki fayl menejeri orqali amalga oshirish mumkin, uning yordamida dasturchi saytdagi fayllar bilan ishlaydi.

U erda qanday va nima yozishni maqola davom etar ekan, aniqlaymiz.

Qidiruv tizimlari ushbu fayldan uch turdagi ko'rsatmalar oladi:

  • hamma narsani skanerlash, ya'ni to'liq kirish (Ruxsat berish);
  • siz hech narsani skanerlay olmaysiz - to'liq taqiqlash (Ruxsat bermaslik);
  • Siz alohida elementlarni skanerlay olmaysiz (qaysi biri ko'rsatilgan) - qisman kirish.

Amalda bu shunday ko'rinadi:

E'tibor bering, agar u ushbu saytda yoki undan tashqarida bo'lsa, sahifa qidiruv natijalarida ko'rinishi mumkin.

Buni yaxshiroq tushunish uchun keling, ushbu faylning sintaksisini o'rganamiz.

Sintaksis robotlari.Txt

Robots.txt: u nimaga o'xshaydi?

Muhim fikrlar: robotlar haqida doimo eslash kerak bo'lgan narsalar.

Veb-saytlarda tez-tez uchraydigan ettita umumiy atama.

Eng oddiy shaklda robot quyidagicha ko'rinadi:

Foydalanuvchi agenti: [biz koʻrsatmalar yozayotgan tizim nomi] Ruxsat bermaslik: Sayt xaritasi: [bizda sayt xaritasi qayerda borligini koʻrsating] # 1-qoida Foydalanuvchi agenti: Googlebot Ruxsat bermaslik: /prim1/ Sayt xaritasi: http://www.nashsite. com /sitemap.xml

Bu uchta qator birgalikda eng oddiy robots.txt deb hisoblanadi.

Bu erda biz botning URL manzilini indekslashiga to'sqinlik qildik: http://www.nashsite.com/prim1/ va sayt xaritasi qayerda joylashganligini ko'rsatdik.

E'tibor bering, robotlar faylida bitta foydalanuvchi agenti (qidiruv tizimi) uchun ko'rsatmalar to'plami boshqasi uchun direktivalar to'plamidan qator uzilishi bilan ajratilgan.

Bir nechta qidiruv tizimi ko'rsatmalariga ega bo'lgan faylda har bir taqiqlash yoki ruxsat berish faqat ma'lum bir qatorlar blokida ko'rsatilgan qidiruv tizimiga tegishli.

Bu muhim nuqta va uni unutmaslik kerak.

Agar faylda bir nechta foydalanuvchi agentlariga tegishli qoidalar bo'lsa, tizim ko'rsatilgan qidiruv tizimiga xos bo'lgan direktivalarga ustunlik beradi.

Mana bir misol:

Yuqoridagi rasmda MSNbot, diskobot va Slurp faqat ushbu qidiruv tizimlari uchun ishlaydigan individual qoidalarga ega.

Boshqa barcha foydalanuvchi agentlari foydalanuvchi-agent guruhidagi umumiy ko'rsatmalarga amal qiladi: *.

robots.txt sintaksisi mutlaqo murakkab emas.

Veb-saytlarda tez-tez uchraydigan ettita umumiy atama mavjud.

  • Foydalanuvchi-agent: siz skanerlash bo'yicha ko'rsatmalar beradigan ma'lum veb-qidiruv tizimi (qidiruv mexanizmi bot). Ko'pgina foydalanuvchi agentlari ro'yxatini bu erda topish mumkin. Hammasi bo'lib 302 ta tizim mavjud bo'lib, ulardan ikkitasi Google va Yandex.
  • Ruxsat bermaslik: agentga URL manziliga kirmaslikni aytadigan taqiqlash buyrug'i. Har bir URL uchun faqat bitta “ruxsat bermaslik” qatoriga ruxsat beriladi.
  • Ruxsat berish (faqat Googlebot uchun amal qiladi): Buyruq botga uning bosh sahifasi yoki pastki papkasi yopilgan boʻlsa ham sahifa yoki pastki jildga kirishi mumkinligini aytadi.
  • Ko'rish kechikishi: qidiruv tizimi sahifa tarkibini yuklash va skanerlashdan oldin qancha millisekund kutishi kerak.

E'tibor bering - Googlebot bu buyruqni qo'llab-quvvatlamaydi, lekin skanerlash tezligini Google Search Console'da qo'lda sozlash mumkin.

  • Sayt xaritasi: Ushbu URL bilan bog'langan har qanday XML xaritalarining joylashuviga qo'ng'iroq qilish uchun ishlatiladi. Bu buyruq faqat Google, Ask, Bing va Yahoo tomonidan qo'llab-quvvatlanadi.
  • Xost: ushbu direktiv saytning asosiy oynasini ko'rsatadi, uni indekslashda e'tiborga olish kerak. Uni faqat bir marta ro'yxatdan o'tkazish mumkin.
  • Clean-param: Bu buyruq dinamik manzillash paytida takroriy tarkibga qarshi kurashish uchun ishlatiladi.

Oddiy ifodalar

Muntazam iboralar: ular qanday ko'rinishga ega va nimani anglatadi.

Robots.txt faylida skanerlashga qanday ruxsat berish va rad etish mumkin.

Amalda robots.txt fayllari o'sib, ancha murakkab va noqulay bo'lib qolishi mumkin.

Tizim faylning kerakli funksionalligini ta'minlash, ya'ni sahifalar va pastki papkalar bilan moslashuvchan ishlash uchun muntazam ifodalardan foydalanish imkonini beradi.

  • * joker belgi va direktiv barcha qidiruv botlari uchun ishlashini bildiradi;
  • $ URL yoki satr oxiriga mos keladi;
  • # ishlab chiquvchi va optimallashtiruvchi sharhlar uchun ishlatiladi.

Http://www.nashsite.com uchun robots.txt ga ba'zi misollar

Robots.txt fayl URL manzili: www.nashsite.com/robots.txt

Foydalanuvchi-agent: * (ya'ni barcha qidiruv tizimlari uchun) Ruxsat bermaslik: / (slash saytning ildiz katalogini bildiradi)

Biz barcha qidiruv tizimlarini butun saytni skanerlash va indekslashdan to'xtatdik.

Ushbu harakat qanchalik tez-tez talab qilinadi?

Tez-tez emas, lekin resurs qidiruv natijalarida ishtirok etmasligi va tashriflar maxsus havolalar yoki korporativ avtorizatsiya orqali amalga oshirilishi kerak bo'lgan holatlar mavjud.

Ayrim kompaniyalarning ichki veb-saytlari shunday ishlaydi.

Bundan tashqari, agar sayt rivojlanish yoki modernizatsiya bosqichida bo'lsa, bunday ko'rsatma belgilanadi.

Agar siz qidiruv tizimiga saytdagi hamma narsani tekshirishga ruxsat berishingiz kerak bo'lsa, robots.txt-ga quyidagi buyruqlarni yozishingiz kerak:

Foydalanuvchi-agent: * Ruxsat bermaslik:

Taqiqlashda (ruxsat bermaslik) hech narsa yo'q, ya'ni hamma narsa mumkin.

Robots.txt faylida ushbu sintaksisdan foydalanish skanerchilarga http://www.nashsite.com saytidagi barcha sahifalarni, jumladan, bosh sahifa, administrator sahifasi va kontakt sahifasini skanerlash imkonini beradi.

Muayyan qidiruv botlarini va maxsus papkalarni bloklash

Google qidiruvi uchun sintaksis (Googlebot).

Boshqa qidiruv agentlari uchun sintaksis.

Foydalanuvchi-agent: Googlebot Ruxsat bermaslik: /misol-papka/

Ushbu sintaksis faqat Google qidiruv tizimiga (Googlebot) quyidagi manzilni tekshirmaslikni aytadi: www.nashsite.com/example-subfolder/.

Belgilangan botlar uchun alohida sahifalarni bloklash:

Foydalanuvchi-agent: Bingbot Ruxsat bermaslik: /example-subfolder/blocked-page.html

Ushbu sintaksis Bingbotga (Bing qidiruv agentining nomi) faqat quyidagi sahifaga kirmaslikni aytadi: www.nashsite.com/example-subfolder/blocked-page.

Asosan shunday.

Agar siz ushbu yettita buyruq va uchta belgini o'zlashtirsangiz va dastur mantig'ini tushunsangiz, robots.txt faylini to'g'ri yozishingiz mumkin bo'ladi.

Nima uchun u ishlamayapti va nima qilish kerak

Asosiy harakatlar algoritmi.

Boshqa usullar.

Noto'g'ri robots.txt - muammo.

Axir, xatoni aniqlash va keyin uni tushunish vaqt talab etadi.

Faylni qayta o'qing, keraksiz narsalarni bloklamaganingizga ishonch hosil qiling.

Agar bir muncha vaqt o'tgach, sahifa hali ham qidiruv natijalarida osilganligi aniqlansa, qidiruv tizimi saytni qayta indekslagan yoki yo'qligini bilish uchun Google Webmaster-ga qarang va yopiq sahifaga tashqi havolalar mavjudligini tekshiring.

Chunki agar ular mavjud bo'lsa, uni qidiruv natijalaridan yashirish qiyinroq bo'ladi, boshqa usullar talab qilinadi.

Xo'sh, ishlatishdan oldin ushbu faylni Google'dan bepul tester bilan tekshiring.

O'z vaqtida tahlil qilish muammolarni oldini olishga va vaqtni tejashga yordam beradi.

Robots.txt - bu saytning asosiy katalogida joylashgan maxsus fayl. Veb-ustoz unda qaysi sahifalar va ma'lumotlarni qidirish mexanizmlari tomonidan indeksatsiyadan chiqarib tashlash kerakligini ko'rsatadi. Faylda sayt bo'limlariga kirishni tavsiflovchi direktivalar mavjud (robot istisno standarti deb ataladi). Misol uchun, siz uni mobil qurilmalar va ish stoli kompyuterlari uchun mo'ljallangan qidiruv robotlari uchun turli xil kirish sozlamalarini o'rnatish uchun ishlatishingiz mumkin. Uni to'g'ri sozlash juda muhimdir.

robots.txt kerakmi?

robots.txt bilan siz:

  • skanerlash chegarasini (qidiruv roboti bir skanerda skanerlashi mumkin bo'lgan URL manzillar soni) isrof qilmaslik uchun o'xshash va keraksiz sahifalarni indekslashni taqiqlash. Bular. robot muhimroq sahifalarni indekslash imkoniyatiga ega bo'ladi.
  • qidiruv natijalaridan rasmlarni yashirish.
  • muhim bo'lmagan skriptlar, uslublar fayllari va boshqa muhim bo'lmagan sahifa resurslarini indekslashdan yoping.

Agar bu Google yoki Yandex brauzerining sahifalarni tahlil qilishiga to'sqinlik qilsa, fayllarni bloklamang.

Robots.txt fayli qayerda joylashgan?

Agar siz shunchaki robots.txt faylida nima borligini ko'rishni istasangiz, brauzeringizning manzil satriga shunchaki kiriting: site.ru/robots.txt.

Jismoniy jihatdan robots.txt fayli hostingdagi saytning ildiz papkasida joylashgan. Menda beget.ru xosting bor, shuning uchun men ushbu hostingda robots.txt faylining joylashuvini ko'rsataman.


To'g'ri robots.txt faylini qanday yaratish mumkin

robots.txt fayli bir yoki bir nechta qoidalardan iborat. Har bir qoida saytdagi yoʻlni indekslashni bloklaydi yoki ruxsat beradi.

  1. Matn muharririda robots.txt nomli fayl yarating va uni quyidagi qoidalarga muvofiq to'ldiring.
  2. robots.txt fayli ASCII yoki UTF-8 kodli matn fayli boʻlishi kerak. Boshqa kodlashlardagi belgilarga ruxsat berilmaydi.
  3. Saytda faqat bitta fayl bo'lishi kerak.
  4. robots.txt fayli joylashtirilishi kerak ildiz katalogi sayt. Masalan, http://www.example.com/ saytidagi barcha sahifalarni indekslashni nazorat qilish uchun robots.txt fayli http://www.example.com/robots.txt manzilida joylashgan bo'lishi kerak. U pastki katalogda bo'lmasligi kerak(masalan, manzilda http://example.com/pages/robots.txt). Agar siz ildiz katalogiga kirishda qiynalsangiz, hosting provayderingizga murojaat qiling. Agar saytning asosiy katalogiga kirish imkoningiz bo'lmasa, meta teglar kabi muqobil blokirovka usulidan foydalaning.
  5. robots.txt fayli manzillarga qo'shilishi mumkin subdomenlar(masalan, http:// veb-sayt.example.com/robots.txt) yoki nostandart portlar (masalan, http://example.com: 8181 /robots.txt).
  6. Faylni Yandex.Webmaster xizmati va Google Search Console-da tekshiring.
  7. Faylni saytingizning asosiy katalogiga yuklang.

Bu erda ikkita qoidaga ega robots.txt fayliga misol. Quyida uning tushuntirishi keltirilgan.

Foydalanuvchi-agent: Googlebot Ruxsat bermaslik: /nogooglebot/ User-agent: * Ruxsat berish: / Sayt xaritasi: http://www.example.com/sitemap.xml

Tushuntirish

  1. Googlebot nomli foydalanuvchi agenti http://example.com/nogooglebot/ katalogini va uning quyi kataloglarini indekslamasligi kerak.
  2. Boshqa barcha foydalanuvchi agentlari butun saytga kirish huquqiga ega (o'tkazib yuborilishi mumkin, natija bir xil bo'ladi, chunki to'liq kirish sukut bo'yicha beriladi).
  3. Ushbu sayt uchun Sayt xaritasi fayli http://www.example.com/sitemap.xml manzilida joylashgan.

Yo'l qo'ymaslik va ruxsat berish direktivalari

Saytga yoki uning ba'zi bo'limlariga indekslash va robotlar kirishining oldini olish uchun "Ruxsat berish" direktivasidan foydalaning.

User-agent: Yandex Disallow: / # butun saytga kirishni bloklaydi Foydalanuvchi-agent: Yandex Disallow: /cgi-bin # “/cgi-bin” bilan boshlanadigan # sahifalarga kirishni bloklaydi

Standartga ko'ra, har bir User-agent direktivasi oldiga bo'sh qatorni kiritish tavsiya etiladi.

# belgisi izohlarni tavsiflash uchun mo'ljallangan. Bu belgidan keyin va birinchi qator uzilishidan oldin hamma narsa hisobga olinmaydi.

Robotning saytga yoki uning ba'zi bo'limlariga kirishiga ruxsat berish uchun "Ruxsat berish" direktivasidan foydalaning

Foydalanuvchi-agent: Yandex Allow: /cgi-bin Ruxsat berish: / # "/cgi-bin" bilan boshlanadigan # sahifalardan tashqari hamma narsani yuklab olishni taqiqlaydi

User-agent, Disallow va Allow direktivalari o'rtasida bo'sh qatorlar bo'lishiga yo'l qo'yilmaydi.

Tegishli User-agent blokidagi ruxsat berish va taqiqlash ko'rsatmalari URL prefiksi uzunligi bo'yicha (eng kichikdan kattagacha) tartiblanadi va ketma-ket qo'llaniladi. Agar ma'lum bir sayt sahifasi uchun bir nechta ko'rsatmalar mos bo'lsa, robot tartiblangan ro'yxatdagi ko'rinish tartibida oxirgisini tanlaydi. Shunday qilib, robots.txt faylidagi ko'rsatmalarning tartibi robot ulardan qanday foydalanishiga ta'sir qilmaydi. Misollar:

# Original robots.txt: User-agent: Yandex Allow: /catalog Disallow: / # Sorted robots.txt: User-agent: Yandex Disallow: / Allow: /catalog # Faqat “/catalog” bilan boshlanadigan sahifalarni yuklab olishga ruxsat beradi # Original robots.txt: Foydalanuvchi-agent: Yandex Ruxsat berish: / Ruxsat berish: /katalog/avto Ruxsat berish: /katalog # Saralangan robots.txt: Foydalanuvchi-agent: Yandex Ruxsat berish: / Ruxsat berish: /katalog Ruxsat berish: /catalog/auto # sahifalarni yuklab olishni taqiqlaydi "/catalog" # bilan boshlanadi, lekin "/catalog/auto" bilan boshlanadigan sahifalarni yuklab olish imkonini beradi.

Agar bir xil uzunlikdagi prefiksli ikkita direktiv o'rtasida ziddiyat bo'lsa, Allow direktivasi ustunlik qiladi.

* va $ maxsus belgilardan foydalanish

Allow va Disallow direktivalarining yo'llarini belgilashda siz * va $ maxsus belgilardan foydalanishingiz mumkin, shu bilan ma'lum muntazam ifodalarni ko'rsatishingiz mumkin.

Maxsus belgi * har qanday (shu jumladan bo'sh) belgilar ketma-ketligini bildiradi.

Maxsus belgi $ qatorning oxirini, undan oldingi belgi oxirgi ekanligini bildiradi.

Foydalanuvchi-agent: Yandex Disallow: /cgi-bin/*.aspx # taqiqlaydi "/cgi-bin/example.aspx" # va "/cgi-bin/private/test.aspx" Ruxsat bermaslik: /*private # nafaqat taqiqlaydi "/private", #, balki "/cgi-bin/private"

Sayt xaritasi direktivasi

Agar siz sayt tuzilishini tavsiflash uchun Sayt xaritasi faylidan foydalansangiz, sayt xaritasi direktivasiga parametr sifatida faylga yo'lni belgilang (agar bir nechta fayl bo'lsa, barchasini belgilang). Misol:

Foydalanuvchi-agent: Yandex Allow: / sayt xaritasi: https://example.com/site_structure/my_sitemaps1.xml sayt xaritasi: https://example.com/site_structure/my_sitemaps2.xml

Direktiv kesishmadir, shuning uchun u robots.txt faylida ko'rsatilgan joydan qat'i nazar, robot tomonidan qo'llaniladi.

Robot faylga yo'lni eslab qoladi, ma'lumotlarni qayta ishlaydi va natijalarni keyingi yuklab olish seanslarida ishlatadi.

Tekshirishni kechiktirish direktivasi

Agar server og'ir yuklangan bo'lsa va robot so'rovlarini qayta ishlashga vaqt topa olmasa, Crawl-delay direktivasidan foydalaning. Bu sizga qidiruv robotiga bir sahifani yuklashning tugashi va keyingisini yuklashning boshlanishi o'rtasidagi minimal vaqtni (soniyalarda) o'rnatish imkonini beradi.

Saytni tekshirish tezligini o'zgartirishdan oldin robot qaysi sahifalarga tez-tez kirishini bilib oling.

  • Server jurnallarini tahlil qiling. Sayt uchun mas'ul shaxs yoki hosting provayderiga murojaat qiling.
  • Yandex.Webmaster-dagi Indexing → Crawl statistics sahifasidagi URL-manzillar ro'yxatiga qarang (almashtirishni "Barcha sahifalar" ga o'rnating).

Agar robot xizmat sahifalariga kirayotganini aniqlasangiz, ruxsat berish direktivasi yordamida ularni robots.txt faylida indekslanishiga yo'l qo'ymang. Bu robotdan keraksiz qo'ng'iroqlar sonini kamaytirishga yordam beradi.

Clean-param direktivasi

Direktiv faqat Yandex robotida ishlaydi.

Agar sayt sahifasi manzillarida ularning mazmuniga ta'sir qilmaydigan dinamik parametrlar mavjud bo'lsa (sessiya identifikatorlari, foydalanuvchilar, yo'naltiruvchilar va boshqalar), ularni Clean-param direktivasi yordamida tavsiflashingiz mumkin.

Yandex Robot ushbu direktivani ishlatib, takroriy ma'lumotlarni qayta yuklamaydi. Bu sizning saytingizni skanerlash samaradorligini oshiradi va serverdagi yukni kamaytiradi.

Masalan, saytda quyidagi sahifalar mavjud:

www.example.com/some_dir/get_book.pl?ref=site_1&book_id=123 www.example.com/some_dir/get_book.pl?ref=site_2&book_id=123 www.example.com/some_dir/get_book.pl?ref=site_3&book_id= 123

Ref parametri faqat so'rov qaysi manbadan qilinganligini kuzatish uchun ishlatiladi va kontentni o'zgartirmaydi; kitobning bir xil sahifasi book_id=123 uchta manzilda ko'rsatiladi. Keyin, agar siz direktivani quyidagicha belgilasangiz:

Foydalanuvchi-agent: Yandex taqiqlash: Clean-param: ref /some_dir/get_book.pl

Yandex roboti barcha sahifa manzillarini bittaga qisqartiradi:

www.example.com/some_dir/get_book.pl?book_id=123

Agar saytda bunday sahifa mavjud bo'lsa, u qidiruv natijalariga kiritiladi.

Direktiv sintaksisi

Clean-param: p0[&p1&p2&..&pn]

& bilan ajratilgan birinchi maydon robot hisobga olish kerak bo'lmagan parametrlarni sanab o'tadi. Ikkinchi maydon qoida qo'llanilishi kerak bo'lgan sahifalarning yo'l prefiksini belgilaydi.

Eslatma. Clean-Param direktivasi kesmadir, shuning uchun uni robots.txt faylining istalgan joyida ko'rsatish mumkin. Agar bir nechta ko'rsatmalar ko'rsatilgan bo'lsa, ularning barchasi robot tomonidan hisobga olinadi.

Prefiks robots.txt fayliga o'xshash formatdagi muntazam ifodani o'z ichiga olishi mumkin, lekin ba'zi cheklovlar bilan: faqat A-Za-z0-9.-/*_ belgilaridan foydalanish mumkin. Bunday holda, * belgisi robots.txt faylidagi kabi talqin qilinadi: * belgisi har doim prefiksning oxiriga bevosita qo'shiladi. Masalan:

Clean-param: s /forum/showthread.php

Vaziyat hisobga olinadi. Qoida uzunligi bo'yicha cheklov mavjud - 500 belgi. Masalan:

Clean-param: abc /forum/showthread.php Clean-param: sid&sort /forum/*.php Clean-param: someTrash&otherTrash

HOST direktivasi

Ayni paytda Yandex ushbu direktivani qo'llab-quvvatlashni to'xtatdi.

To'g'ri robots.txt: sozlash

robots.txt faylining mazmuni sayt turiga (onlayn do'kon, blog), foydalaniladigan CMS, tuzilish xususiyatlariga va boshqa bir qator omillarga qarab farqlanadi. Shuning uchun, ushbu faylni tijorat veb-sayti uchun yaratish, ayniqsa, bu murakkab loyiha bo'lsa, etarli tajribaga ega bo'lgan SEO mutaxassisi tomonidan amalga oshirilishi kerak.

Tayyorlanmagan odam, ehtimol, kontentning qaysi qismini indeksatsiyadan yopish yaxshiroq va qaysi qismini qidiruv natijalarida ko'rsatishga ruxsat berish to'g'risida to'g'ri qaror qabul qila olmaydi.

WordPress uchun to'g'ri Robots.txt misoli

Foydalanuvchi-agent: * # robotlar uchun umumiy qoidalar, Yandex va Googledan tashqari, # chunki ular uchun qoidalar quyida: Disallow: /cgi-bin # hostingdagi papka Ruxsat bermaslik: /? # asosiy sahifadagi barcha so'rov parametrlari Ruxsat bermaslik: /wp- # barcha WP fayllari: /wp-json/, /wp-includes, /wp-content/plugins Ruxsat bermaslik: /wp/ # agar /wp/ quyi katalogi bo'lsa. CMS o'rnatilgan (agar bo'lmasa, # qoida o'chirilishi mumkin) Ruxsat bermaslik: *?s= # qidiruv Ruxsat berish: *&s= # qidirish Ruxsat berish: /search/ # qidiruv Ruxsat berish: /author/ # muallif arxivi Ruxsat bermaslik: /users/ # muallif arxivi Ruxsat bermaslik: */trackback # trek, izohlarda ochiq # havola paydo bo'lishi haqidagi bildirishnomalar Ruxsat bermaslik: */feed # all feeds Ruxsat bermaslik: */rss # rss feed Taqiqlash: */embed # all embeddings Ruxsat bermaslik : */wlwmanifest.xml # manifest xml fayli Windows Live Writer (agar siz undan foydalanmasangiz, # qoida o'chirilishi mumkin) Ruxsat bermaslik: /xmlrpc.php # WordPress API fayli Ruxsat bermaslik: *utm*= # utm teglari bilan havolalar Ruxsat bermaslik: *openstat= # openstat teglari bilan havolalar Ruxsat bering: */uploads # yuklangan fayllar bilan jildni ochish Sayt xaritasi: http://site.ru/sitemap.xml # sayt xaritasi manzili Foydalanuvchi-agent: GoogleBot # Google qoidalari (I izohlarni takrorlamang) Ruxsat berish: /cgi-bin Ruxsat berish: /? Disallow: /wp- Disallow: /wp/ Disallow: *?s= Disallow: *&s= Disallow: /search/ Disallow: /author/ Disallow: /users/ Disallow: */trackback Disallow: */feed Disallow: */ rss Disallow: */embed Disallow: */wlwmanifest.xml Disallow: /xmlrpc.php Disallow: *utm*= Disallow: *openstat= Allow: */uploads Allow: /*/*.js # открываем js-скрипты внутри / wp- (/*/ - для приоритета) Allow: /*/*.css # открываем css-файлы внутри /wp- (/*/ - для приоритета) Allow: /wp-*.png # картинки в плагинах, cache папке va hokazo. Ruxsat bering: /wp-*.jpg # plaginlarda, kesh papkasida va hokazo. Ruxsat bering: /wp-*.jpeg # plaginlarda, kesh papkasida va hokazo. Ruxsat bering: /wp-*.gif # plaginlarda, kesh papkasida va hokazo. Ruxsat bering: /wp-admin/admin-ajax.php # JS va CSS-ni bloklamaslik uchun plaginlar tomonidan qo'llaniladi Foydalanuvchi-agent: Yandex # Yandex uchun qoidalar (Izohlarni takrorlamayman) Ruxsat bermaslik: /cgi-bin Ruxsat bermaslik: /? Ruxsat berish: /wp- Taqiqlash: /wp/ Ruxsat berish: *?s= Ruxsat berish: *&s= Ruxsat berish: /search/ Ruxsat berish: /muallif/ Ruxsat berish: /users/ Ruxsat berish: */trackback Ruxsat berish: */feed Ruxsat berish: */ rss Ruxsat berish: */embed Ruxsat berish: */wlwmanifest.xml Ruxsat berish: /xmlrpc.php Ruxsat berish: */uploads Ruxsat berish: /*/*.js Ruxsat berish: /*/*.css Ruxsat berish: /wp-*.png Ruxsat berish: /wp-*.jpg Ruxsat bering: /wp-*.jpeg Ruxsat bering: /wp-*.gif Ruxsat bering: /wp-admin/admin-ajax.php Clean-Param: utm_source&utm_medium&utm_campaign # Yandex indekslashdan # bloklashni emas, balki o'chirishni tavsiya qiladi. teg parametrlari, # Google bunday qoidalarni qo'llab-quvvatlamaydi Clean-Param: openstat # shunga o'xshash

Joomla uchun Robots.txt misoli

Foydalanuvchi-agent: *
Ruxsat bermaslik: /administrator/
Ruxsat bermaslik: /kesh/
Ruxsat bermaslik: / o'z ichiga oladi /
Ruxsat bermaslik: /o'rnatish/
Ruxsat bermaslik: /language/
Ruxsat bermaslik: /libraries/
Ruxsat bermaslik: /media/
Ruxsat bermaslik: /modullar/
Ruxsat bermaslik: /plugins/
Ruxsat bermaslik: /shablonlar/
Ruxsat bermaslik: /tmp/
Ruxsat bermaslik: /xmlrpc/

Bitrix uchun Robots.txt misoli

Foydalanuvchi-agent: *
Ruxsat bermaslik: /*index.php$
Ruxsat bermaslik: /bitrix/
Ruxsat bermaslik: /auth/
Ruxsat bermaslik: /shaxsiy/
Ruxsat bermaslik: /yuklash/
Ruxsat bermaslik: /search/
Ruxsat bermaslik: /*/search/
Ruxsat bermaslik: /*/slide_shou/
Ruxsat bermaslik: /*/galereya/*order=*
Ruxsat bermaslik: /*?print=
Ruxsat bermaslik: /*&print=
Ruxsat bermaslik: /*register=
Ruxsat bermaslik: /*forgot_password=
Ruxsat bermaslik: /*change_password=
Ruxsat bermaslik: /*login=
Ruxsat bermaslik: /*chiqish=
Ruxsat bermaslik: /*auth=
Ruxsat bermaslik: /*?action=
Ruxsat bermaslik: /*action=ADD_TO_COMPARE_LIST
Ruxsat bermaslik: /*action=DELETE_FROM_COMPARE_LIST
Ruxsat bermaslik: /*action=ADD2BASKET
Ruxsat bermaslik: /*action=BUY
Ruxsat bermaslik: /*bitrix_*=
Ruxsat bermaslik: /*backurl=*
Ruxsat bermaslik: /*BACKURL=*
Ruxsat bermaslik: /*back_url=*
Ruxsat bermaslik: /*BACK_URL=*
Ruxsat bermaslik: /*back_url_admin=*
Ruxsat bermaslik: /*print_course=Y
Ruxsat bermaslik: /*COURSE_ID=
Ruxsat bermaslik: /*?COURSE_ID=
Ruxsat bermaslik: /*?PAGEN
Ruxsat bermaslik: /*PAGEN_1=
Ruxsat bermaslik: /*PAGEN_2=
Ruxsat bermaslik: /*PAGEN_3=
Ruxsat bermaslik: /*PAGEN_4=
Ruxsat bermaslik: /*PAGEN_5=
Ruxsat bermaslik: /*PAGEN_6=
Ruxsat bermaslik: /*PAGEN_7=

Ruxsat bermaslik: /*PAGE_NAME=search
Ruxsat bermaslik: /*PAGE_NAME=user_post
Ruxsat bermaslik: /*PAGE_NAME=detail_slide_show
Ruxsat bermaslik: /*SHOWALL
Ruxsat bermaslik: /*show_all=
Sayt xaritasi: http://XML formatidagi xaritangizga yo'l

MODX uchun Robots.txt misoli

Foydalanuvchi-agent: *
Ruxsat bermaslik: /assets/kesh/
Ruxsat bermaslik: /assets/docs/
Ruxsat bermaslik: /aktivlar/eksport/
Ruxsat bermaslik: /assets/import/
Ruxsat bermaslik: /aktivlar/modullar/
Ruxsat bermaslik: /assets/plugins/
Ruxsat bermaslik: /assets/snippets/
Ruxsat bermaslik: /install/
Ruxsat bermaslik: /menejer/
Sayt xaritasi: http://site.ru/sitemap.xml

Drupal uchun Robots.txt misoli

Foydalanuvchi-agent: *
Ruxsat bermaslik: /ma'lumotlar bazasi/
Ruxsat bermaslik: / o'z ichiga oladi /
Ruxsat bermaslik: /misc/
Ruxsat bermaslik: /modullar/
Ruxsat bermaslik: /saytlar/
Ruxsat bermaslik: /themes/
Ruxsat bermaslik: /skriptlar/
Ruxsat bermaslik: /yangilanishlar/
Ruxsat bermaslik: /profillar/
Ruxsat bermaslik: /profile
Ruxsat bermaslik: /profil/*
Ruxsat bermaslik: /xmlrpc.php
Ruxsat bermaslik: /cron.php
Ruxsat bermaslik: /update.php
Ruxsat bermaslik: /install.php
Ruxsat bermaslik: /index.php
Ruxsat bermaslik: /admin/
Ruxsat bermaslik: /comment/reply/
Ruxsat bermaslik: /contact/
Ruxsat bermaslik: /chiqish/
Ruxsat bermaslik: /search/
Ruxsat bermaslik: /user/register/
Ruxsat bermaslik: /user/parol/
Ruxsat bermaslik: *ro'yxatdan o'tish*
Ruxsat bermaslik: *kirish*
Ruxsat bermaslik: /top-rated-
Ruxsat bermaslik: /xabarlar/
Ruxsat bermaslik: /book/export/
Ruxsat bermaslik: /user2userpoints/
Ruxsat bermaslik: /myuserpoints/
Ruxsat bermaslik: /tagadelic/
Ruxsat bermaslik: /referral/
Ruxsat bermaslik: /aggregator/
Ruxsat bermaslik: /files/pin/
Ruxsat bermaslik: /your-votes
Ruxsat bermaslik: /comments/so'nggi
Ruxsat bermaslik: /*/edit/
Ruxsat bermaslik: /*/delete/
Ruxsat bermaslik: /*/export/html/
Ruxsat bermaslik: /taksonomiya/term/*/0$
Ruxsat bermaslik: /*/edit$
Ruxsat bermaslik: /*/outline$
Ruxsat bermaslik: /*/revisions$
Ruxsat bermaslik: /*/contact$
Ruxsat bermaslik: /*downloadpipe
Ruxsat bermaslik: /node$
Ruxsat bermaslik: /tugun/*/track$
Ruxsat bermaslik: /*&
Ruxsat bermaslik: /*%
Ruxsat bermaslik: /*?page=0
Ruxsat bermaslik: /* bo'lim
Ruxsat bermaslik: /*order
Ruxsat bermaslik: /*?sort*
Ruxsat bermaslik: /*&sort*
Ruxsat bermaslik: /*votesupdown
Ruxsat bermaslik: /* kalendar
Ruxsat bermaslik: /*index.php
Ruxsat bering: /*?page=
Ruxsat bermaslik: /*?
Sayt xaritasi: http://XML formatidagi xaritangizga yo'l

DIQQAT!

CMS doimiy ravishda yangilanadi. Boshqa sahifalarni indekslashni bloklashingiz kerak bo'lishi mumkin. Maqsadga qarab, indeksatsiyani taqiqlash olib tashlanishi yoki aksincha, qo'shilishi mumkin.

robots.txt faylini tekshiring

Har bir qidiruv tizimi robots.txt faylini loyihalash uchun o'ziga xos talablarga ega.

Uchun robots.txt faylini tekshiring Faylning sintaksisi va tuzilishining to'g'riligini tekshirish uchun siz onlayn xizmatlardan birini ishlatishingiz mumkin. Misol uchun, Yandex va Google veb-ustalar uchun o'zlarining saytlarini tahlil qilish xizmatlarini taklif qilishadi, ular orasida robots.txt tahlili:

Yandex qidiruv roboti uchun robotx.txt tekshirilmoqda

Buni Yandex - Yandex.Webmaster-dan maxsus vosita yordamida amalga oshirish mumkin, shuningdek, ikkita variant ham mavjud.

Variant 1:

Yuqori o'ngdagi ochiladigan ro'yxat - tanlang Robots.txt tahlili yoki http://webmaster.yandex.ru/robots.xml havolasiga o'ting

Shuni unutmangki, robots.txt fayliga kiritilgan barcha o'zgarishlar darhol mavjud bo'lmaydi, faqat bir muncha vaqt o'tgach.

Google qidiruv roboti uchun robotx.txt tekshirilmoqda

  1. Google Search Console-da saytingizni tanlang, tekshirish vositasiga o'ting va robots.txt faylingiz mazmunini ko'rib chiqing. Sintaktik Va aqliy charchoq undagi xatolar ta'kidlanadi va ularning soni tahrirlash oynasi ostida ko'rsatiladi.
  2. Interfeys sahifasining pastki qismida tegishli oynada kerakli URL manzilini belgilang.
  3. O'ngdagi ochiladigan menyudan tanlang robot.
  4. Tugmasini bosing TEKSHIRING.
  5. Holat ko'rsatiladi MAVJUD yoki MAVJUD EMAS. Birinchi holda, Google robotlari siz ko'rsatgan manzilga borishi mumkin, ikkinchisida - yo'q.
  6. Agar kerak bo'lsa, menyuga o'zgartirishlar kiriting va testni qayta bajaring. Diqqat! Ushbu tuzatishlar saytingizdagi robots.txt fayliga avtomatik ravishda qo'shilmaydi.
  7. O'zgartirilgan tarkibdan nusxa oling va uni veb-serveringizdagi robots.txt fayliga qo'shing.

Yandex va Google-ning tekshirish xizmatlaridan tashqari, boshqa ko'plab onlayn xizmatlar mavjud robots.txt tekshiruvchilari.

Robots.txt generatorlari

  1. SEOlib.ru xizmati.Ushbu vosita yordamida Robots.txt faylidagi cheklovlarni tezda olishingiz va tekshirishingiz mumkin.
  2. Generator pr-cy.ru.Robots.txt generatori natijasida siz Robots.txt nomli faylda saqlanishi va saytingizning asosiy katalogiga yuklanishi kerak bo'lgan matnni olasiz.
Sizga maqola yoqdimi? Do'stlaringizga ulashing:
Sizni ham qiziqtirishi mumkin