Robots.txt Test Aləti
URL daxil edin; robots.txt-ə görə Googlebot və digər botların həmin səhifəni tarayıb-tarayamayacağını dərhal test edin.
Robots.txt Test Aləti nədir?
Robots.txt, saytınızın kök qovluğunda yerləşən və axtarış botlarına hansı səhifələri taraya biləcəklərini bildirən fayldır. Bu alət daxil etdiyiniz URL-i saytın robots.txt qaydalarına görə qiymətləndirir və Googlebot kimi botun həmin səhifəni tarayıb-tarayamayacağını, hansı qaydanın keçərli olduğunu göstərir.
Necə istifadə olunur?
- 1Test etmək istədiyiniz tam URL-i daxil edin (məs. https://saytiniz.com/gizli-sehife).
- 2Bir bot seçin (standart: Googlebot) və 'Yoxla'ya basın.
- 3Nəticəni görün: səhifə taranabilir mi, hansı qayda uyğun gəldi və sitemap-lar.
Nəticəni necə oxumalı?
Nə vaxt istifadə etməli?
Saytı Canlıya Çıxararkən Yoxlama
Test mühitində bütün saytı 'Disallow: /' ilə bağlayıb əsas domenə köçürdükdə, bu qaydanın unudulmadığını və canlı URL-lərin botlara açıq olduğunu dərhal test edin.
Filtr Parametrlərinin Yoxlanılması
E-ticarət saytlarında rəng, ölçü və qiymət filtrlərini taramadan gizlətmək üçün yazdığınız xüsusi qaydaların doğru URL-ləri hədəfləyib-hədəfləmədiyini tək-tək yoxlayaraq tarama büdcəsini qoruyun.
Xüsusi Kampaniya Səhifələri
Yalnız pullu reklamlar üçün hazırladığınız xüsusi açılış səhifələrinin axtarış botlarının tarama büdcəsini boş yerə sərf etməməsi üçün doğru bloklandığını yayımdan əvvəl dəqiqləşdirin.
Tez-tez edilən səhvlər
Fayla Noindex Əlavə Etmək
robots.txt daxilində 'Noindex' direktivi yazmaq rəsmi olaraq dəstəklənmir; səhifənin indeksdən çıxarılması üçün robots.txt deyil, səhifə daxilinə meta 'noindex' teqi əlavə edilməlidir.
Hədsiz Geniş Ulduz İstifadəsi
Disallow sətrində '*' və ya '?' simvollarını çox geniş təyin etmək, vacib kateqoriya və məhsul səhifələrini istəmədən Googlebot üçün əlçatmaz edərək trafik itkisinə səbəb olur.
Faylı Alt Qovluğa Yerləşdirmək
robots.txt faylını alt qovluqlara yükləmək tamamilə etibarsızdır; axtarış sistemləri bu faylı yalnız və yalnız saytın əsas kök qovluğunda (domen.az/robots.txt) axtarır və nəzərə alır.
Tez-tez verilən suallar
Səhifəm 'Bloklanmış' çıxır, nə etməliyəm?
Həmin səhifənin Google-da görünməsini istəyirsinizsə, robots.txt-dəki müvafiq Disallow qaydasını silin və ya daraldın. Bloklanan səhifələr adətən taranmir.
robots.txt bloklayırsa səhifə Google-da heç çıxmaz mı?
robots.txt taramanı bloklayır; lakin başqa saytlardan link alan URL məzmunu taranmadan yenə də indekslənə bilər. Səhifəni tamamilə istisna etmək üçün robots.txt əvəzinə 'noindex' meta teqi istifadə edin.
Allow və Disallow ziddiyyət təşkil edərsə hansı keçərlidir?
Google-da ən uzun (ən spesifik) uyğun qayda qazanır; uzunluq bərabərdirsə Allow üstündür. Bu alət də eyni məntiqi tətbiq edir.
robots.txt-im yoxdursa nə olur?
robots.txt yoxdursa botlar standart olaraq bütün səhifələri tarayır. Bu problem deyil; əksər kiçik saytlar üçün robots.txt məcburi deyil.
robots.txt faylındakı dəyişikliklər Google tərəfindən nə vaxt qəbul edilir?
Google adətən yenilənmiş robots.txt faylını bir neçə saatdan 24 saata qədər keşləyir və yenidən oxuyur. Dəyişikliyin dərhal qüvvəyə minməsini istəyirsinizsə, Google Search Console daxilindəki robots.txt hesabatından istifadə edərək Google-dan faylı yenidən oxumağı tələb edə bilərsiniz. Beləliklə, yeni qaydalar dərhal aktivləşər.
Bir alt qovluğu bloklamaq bütün alt səhifələri avtomatik əhatə edirmi?
Bəli, müəyyən bir qovluğu blokladıqda onun daxilindəki bütün alt ünvanlar avtomatik bloklanır. Məsələn, 'Disallow: /bloq/' qaydası /bloq/seo/ kimi alt qovluq və səhifələri də bağlayır. Lakin istisna yaratmaq üçün 'Allow: /bloq/vacib-yazi' sətri əlavə edərək konkret səhifəni yenidən axtarış botlarına aça bilərsiniz.