Robots.txt & Sitemap Oluşturucu
Birkaç tıkla robots.txt kurallarınızı ve sitemap.xml dosyanızı oluşturup indirin.
robots.txt
User-agent: *
Allow: /
Disallow: /wp-admin/
Disallow: /cart
Disallow: /checkout
Sitemap: https://ornek.com/sitemap.xmlRobots.txt & Sitemap Oluşturucu nedir?
Bu araç, arama motorlarına sitenizin hangi bölümlerini tarayacaklarını söyleyen robots.txt dosyanızı ve tüm önemli sayfalarınızı listeleyen sitemap.xml dosyanızı birkaç tıkla oluşturur. Doğru yapılandırma, tarama bütçenizi verimli kullanmanızı sağlar.
Nasıl kullanılır?
- 1Robots.txt için izin verilecek/engellenecek yolları ve sitemap adresini girin.
- 2Sitemap için sayfa adreslerinizi (her satıra bir URL) ekleyin.
- 3Oluşan robots.txt ve sitemap.xml dosyalarını indirip sitenizin köküne yükleyin.
Sonuçları nasıl yorumlamalı?
Ne zaman kullanmalı?
Özel Altyapılı Site Lansmanı
WordPress gibi hazır eklentisi olmayan özel yazılımlarda, arama motorlarının kök dizini ve sayfaları ilk günden doğru keşfetmesini sağlamak için kullanılır.
E-Ticarette Tarama Bütçesi
Filtre, sepet ve arama sonuç sayfalarının taranmasını robots.txt ile engelleyip temiz ürün URL'lerini XML haritası üzerinden doğrudan Google'a iletir.
Canlıya Geçiş Hatalarını Önleme
Test sunucusundan canlıya alınan projelerde unutulan 'Disallow: /' engelini temizleyerek sitenin arama dizininden aniden silinme riskini tamamen ortadan kaldırır.
Sık yapılan hatalar
CSS ve JS Engellemek
Robots.txt içinde tema veya script klasörlerini kapatmak Google'ın sayfayı render etmesini bozar. Botların tasarım dosyalarına erişmesine mutlaka izin verin.
Hatalı URL'leri Haritaya Eklemek
Sitemap içine 404 veren, yönlendirilen veya noindex etiketli sayfaları koymayın. Harita yalnızca dizine girmesi gereken 200 durum kodlu kanonik URL'leri içermelidir.
Eksik Bölü Çizgisi Kullanımı
Disallow: /blog yazmak /blog-yazisi gibi sayfaları da engeller. Sadece klasörü kapatmak istiyorsanız kuralın sonuna mutlaka taksim koyun: Disallow: /blog/.
Sık sorulan sorular
Robots.txt ne işe yarar?
Robots.txt, arama motoru botlarına sitenizin hangi bölümlerini tarayabileceklerini bildirir; gereksiz veya özel sayfaların taranmasını engelleyerek tarama bütçesini korur.
Sitemap neden gerekli?
Sitemap, tüm önemli sayfalarınızı arama motorlarına tek dosyada sunar; özellikle yeni veya iç linki az sayfaların daha hızlı keşfedilmesini sağlar.
Dosyaları nereye yüklemeliyim?
Her iki dosya da sitenizin kök dizininde olmalı: robots.txt → site.com/robots.txt, sitemap → site.com/sitemap.xml. Sitemap'i Search Console'a da ekleyin.
Tek bir XML haritasına kaç sayfa ekleyebilirim?
Standart bir sitemap.xml dosyası en fazla 50.000 URL veya 50 MB boyut barındırabilir. Bu limitleri aşıyorsanız sayfalarınızı birden fazla haritaya bölüp ana bir sitemap index dosyası altında toplamanız gerekir.
Robots.txt dosyasında yaptığım değişiklik ne zaman aktif olur?
Değişiklikler Google botları robots.txt dosyanızı tekrar taradığında devreye girer; bu süre genellikle birkaç saat ile 24 saat arasındadır. Süreci hızlandırmak için Google Search Console üzerinden güncel dosyayı denetleyip bildirimde bulunabilirsiniz.