Robots.txt Test Aləti
URL daxil edin; robots.txt-ə görə Googlebot və digər botların həmin səhifəni tarayıb-tarayamayacağını dərhal test edin.
Robots.txt Test Aləti nədir?
Robots.txt, saytınızın kök qovluğunda yerləşən və axtarış botlarına hansı səhifələri taraya biləcəklərini bildirən fayldır. Bu alət daxil etdiyiniz URL-i saytın robots.txt qaydalarına görə qiymətləndirir və Googlebot kimi botun həmin səhifəni tarayıb-tarayamayacağını, hansı qaydanın keçərli olduğunu göstərir.
Necə istifadə olunur?
- 1Test etmək istədiyiniz tam URL-i daxil edin (məs. https://saytiniz.com/gizli-sehife).
- 2Bir bot seçin (standart: Googlebot) və 'Yoxla'ya basın.
- 3Nəticəni görün: səhifə taranabilir mi, hansı qayda uyğun gəldi və sitemap-lar.
Tez-tez verilən suallar
Səhifəm 'Bloklanmış' çıxır, nə etməliyəm?
Həmin səhifənin Google-da görünməsini istəyirsinizsə, robots.txt-dəki müvafiq Disallow qaydasını silin və ya daraldın. Bloklanan səhifələr adətən taranmir.
robots.txt bloklayırsa səhifə Google-da heç çıxmaz mı?
robots.txt taramanı bloklayır; lakin başqa saytlardan link alan URL məzmunu taranmadan yenə də indekslənə bilər. Səhifəni tamamilə istisna etmək üçün robots.txt əvəzinə 'noindex' meta teqi istifadə edin.
Allow və Disallow ziddiyyət təşkil edərsə hansı keçərlidir?
Google-da ən uzun (ən spesifik) uyğun qayda qazanır; uzunluq bərabərdirsə Allow üstündür. Bu alət də eyni məntiqi tətbiq edir.
robots.txt-im yoxdursa nə olur?
robots.txt yoxdursa botlar standart olaraq bütün səhifələri tarayır. Bu problem deyil; əksər kiçik saytlar üçün robots.txt məcburi deyil.