Robots.txt Test Aracı
Bir URL girin; robots.txt'e göre Googlebot ve diğer botların o sayfayı tarayıp tarayamayacağını anında test edin.
Robots.txt Test Aracı nedir?
Robots.txt, sitenizin kök dizininde bulunan ve arama motoru botlarına hangi sayfaları tarayabileceklerini söyleyen bir dosyadır. Bu araç, girdiğiniz URL'i sitenin robots.txt kurallarına göre değerlendirir ve Googlebot gibi bir botun o sayfayı tarayıp tarayamayacağını, hangi kuralın geçerli olduğunu gösterir.
Nasıl kullanılır?
- 1Test etmek istediğiniz tam URL'i girin (ör. https://siteniz.com/gizli-sayfa).
- 2Bir bot seçin (varsayılan: Googlebot) ve 'Kontrol et'e basın.
- 3Sonucu görün: sayfa taranabilir mi, hangi kural eşleşti ve sitemap'ler neler.
Sık sorulan sorular
Sayfam 'Engellenmiş' çıkıyor, ne yapmalıyım?
O sayfanın Google'da görünmesini istiyorsanız robots.txt'teki ilgili Disallow kuralını kaldırın veya daraltın. Engellenen sayfalar genellikle taranmaz.
robots.txt engellerse sayfa Google'da hiç çıkmaz mı?
robots.txt taramayı engeller; ancak başka sitelerden link alan bir URL içeriği taranmadan yine de dizine eklenebilir. Bir sayfayı tamamen dışlamak için robots.txt yerine 'noindex' meta etiketi kullanın.
Allow ve Disallow çakışırsa hangisi geçerli?
Google'da en uzun (en spesifik) eşleşen kural kazanır; uzunluk eşitse Allow önceliklidir. Bu araç da aynı mantığı uygular.
robots.txt'im yoksa ne olur?
robots.txt yoksa botlar varsayılan olarak tüm sayfaları tarayabilir. Bu bir sorun değildir; çoğu küçük site için robots.txt zorunlu değildir.