Robots.txt Test Aracı
Bir URL girin; robots.txt'e göre Googlebot ve diğer botların o sayfayı tarayıp tarayamayacağını anında test edin.
Robots.txt Test Aracı nedir?
Robots.txt, sitenizin kök dizininde bulunan ve arama motoru botlarına hangi sayfaları tarayabileceklerini söyleyen bir dosyadır. Bu araç, girdiğiniz URL'i sitenin robots.txt kurallarına göre değerlendirir ve Googlebot gibi bir botun o sayfayı tarayıp tarayamayacağını, hangi kuralın geçerli olduğunu gösterir.
Nasıl kullanılır?
- 1Test etmek istediğiniz tam URL'i girin (ör. https://siteniz.com/gizli-sayfa).
- 2Bir bot seçin (varsayılan: Googlebot) ve 'Kontrol et'e basın.
- 3Sonucu görün: sayfa taranabilir mi, hangi kural eşleşti ve sitemap'ler neler.
Sonuçları nasıl yorumlamalı?
Ne zaman kullanmalı?
Canlıya Geçiş Kontrolü
Staging ortamında tüm siteyi 'Disallow: /' ile kapatıp canlıya alırken bu kuralı unutmadığınızı production URL'inizle anında doğrulayın.
Parametre Filtre Denetimi
E-ticaret filtre ve sıralama parametrelerini engellemek için yazdığınız karmaşık kuralların doğru URL'leri hedeflediğini tek tek test edin.
Açılış Sayfası İzolasyonu
Yalnızca reklamlara özel hazırladığınız açılış sayfalarının arama motoru botlarının tarama bütçesine kapalı olduğunu yayından önce teyit edin.
Sık yapılan hatalar
Noindex Direktifi Yazmak
robots.txt içine 'Noindex:' kuralı yazmak Google tarafından desteklenmez; taramayı engeller fakat dizine eklenmeyi durdurmaz, sayfa içi meta etiketi kullanmalısınız.
Dikkatsiz Joker Karakterler
Disallow kurallarında '/*' veya '?' karakterlerini aşırı geniş tanımlamak, kritik ürün veya kategori sayfalarınızın yanlışlıkla botlara kapanmasına yol açar.
Alt Dizine Yüklemek
robots.txt dosyasını alt klasörlere yüklemek geçersizdir; arama motorları kuralları yalnızca sitenizin kök dizininde (site.com/robots.txt) arar ve dikkate alır.
Sık sorulan sorular
Sayfam 'Engellenmiş' çıkıyor, ne yapmalıyım?
O sayfanın Google'da görünmesini istiyorsanız robots.txt'teki ilgili Disallow kuralını kaldırın veya daraltın. Engellenen sayfalar genellikle taranmaz.
robots.txt engellerse sayfa Google'da hiç çıkmaz mı?
robots.txt taramayı engeller; ancak başka sitelerden link alan bir URL içeriği taranmadan yine de dizine eklenebilir. Bir sayfayı tamamen dışlamak için robots.txt yerine 'noindex' meta etiketi kullanın.
Allow ve Disallow çakışırsa hangisi geçerli?
Google'da en uzun (en spesifik) eşleşen kural kazanır; uzunluk eşitse Allow önceliklidir. Bu araç da aynı mantığı uygular.
robots.txt'im yoksa ne olur?
robots.txt yoksa botlar varsayılan olarak tüm sayfaları tarayabilir. Bu bir sorun değildir; çoğu küçük site için robots.txt zorunlu değildir.
robots.txt dosyasındaki değişiklikler Google tarafından ne zaman algılanır?
robots.txt güncellemeleri Googlebot tarafından genellikle 24 saat içinde algılanır ve önbelleğe alınır. Dosyayı güncelledikten sonra acil durumlarda Google Search Console'daki Robots.txt Raporu üzerinden yeniden tarama isteyebilirsiniz. Önemsiz değişikliklerde ise botun doğal tarama döngüsünü beklemek yeterlidir.
Bir alt dizini engellemek tüm alt sayfaları otomatik kapsar mı?
Evet, robots.txt kuralları önek mantığıyla çalışır ve belirtilen dizinin altındaki tüm yolları kapsar. Örneğin 'Disallow: /admin/' kuralı, /admin/ayarlar veya /admin/kullanicilar gibi bu yolla başlayan tüm URL'leri botlara otomatik olarak kapatır. İstisnalar için özel 'Allow' satırı eklemelisiniz.