Seo Doktoru
Robots.txt & Sitemap Generator

Robots.txt & Sitemap Generator

Create and download robots.txt rules and sitemap.xml in a few clicks.

robots.txt

User-agent: *
Allow: /
Disallow: /wp-admin/
Disallow: /cart
Disallow: /checkout

Sitemap: https://ornek.com/sitemap.xml

Qu'est-ce que le générateur robots.txt & sitemap ?

Cet outil crée en quelques clics le fichier robots.txt qui indique aux moteurs quelles parties de votre site explorer, et le sitemap.xml qui liste toutes vos pages importantes. Une configuration correcte vous aide à utiliser efficacement votre budget de crawl.

Robots.txt & Sitemap Generator

Comment l'utiliser

  1. 1Saisissez les chemins autorisés/interdits et l'adresse du sitemap pour robots.txt.
  2. 2Ajoutez les adresses de vos pages (une URL par ligne) pour le sitemap.
  3. 3Téléchargez les fichiers robots.txt et sitemap.xml et placez-les à la racine de votre site.

Interpréter le résultat

Allow: /
Configuration par défaut — Tout le site est ouvert aux robots. C'est le point de départ standard recommandé pour la grande majorité des sites web.
Disallow: /admin/
Espaces confidentiels — Verrouillez les dossiers sensibles comme l'administration, le panier ou les comptes clients, sans intérêt pour les moteurs de recherche.
Disallow vs Noindex
Confusion courante — Le robots.txt bloque l'exploration, pas l'indexation. Pour empêcher l'apparition d'une page sur Google, utilisez la balise meta noindex.
Directive Sitemap
Indispensable — Insérez l'URL absolue de votre sitemap.xml à la fin du fichier robots.txt afin de guider directement l'indexation de vos pages prioritaires.
Robots d'IA
Choix stratégique — Bloquer GPTBot, CCBot ou ClaudeBot protège votre propriété intellectuelle, mais exclut vos données des résumés génératifs des intelligences artificielles.

Quand l'utiliser

Lancement de site sur-mesure

Indispensable pour les CMS propriétaires sans plugins natifs afin de baliser immédiatement le crawl et déclarer vos URL canoniques aux moteurs.

Gestion de catalogue e-commerce

Bloquez les facettes inutiles, paniers et tris via robots.txt tout en poussant vos fiches produits nettes directement dans le sitemap XML.

Basculement depuis préproduction

Éliminez l'oubli fréquent du Disallow global issu du serveur de test, évitant ainsi la désindexation brutale de vos pages sur Google.

Erreurs fréquentes

Bloquer CSS et scripts

Interdire les ressources graphiques empêche Google de rendre correctement la page sur mobile. Laissez toujours vos feuilles de style et scripts accessibles.

Intégrer des URL obsolètes

Ne mettez jamais d'erreurs 404, de redirections 301 ou de pages noindex dans votre sitemap. Seules les URL canoniques en code 200 doivent y figurer.

Oublier la barre finale

Écrire Disallow: /blog bloque aussi /blog-actu. Ajoutez impérativement une barre oblique finale comme /blog/ pour cibler uniquement le répertoire voulu.

Questions fréquentes

À quoi sert robots.txt ?

Robots.txt indique aux robots des moteurs quelles parties de votre site ils peuvent explorer ; bloquer les pages inutiles ou privées préserve votre budget de crawl.

Pourquoi un sitemap ?

Un sitemap présente toutes vos pages importantes aux moteurs dans un seul fichier et aide les pages nouvelles ou peu liées à être découvertes plus vite.

Où téléverser les fichiers ?

Les deux fichiers vont à la racine : robots.txt → site.com/robots.txt, sitemap → site.com/sitemap.xml. Soumettez aussi le sitemap dans la Search Console.

Combien d'URL peut contenir un sitemap XML ?

Un fichier sitemap XML peut contenir au maximum 50 000 URL et ne doit pas dépasser 50 Mo décompressé. Si votre catalogue ou portail dépasse ces limites techniques, vous devez scinder vos liens en plusieurs sitemaps et les regrouper dans un fichier d'index de sitemaps global.

Quand les modifications du robots.txt prennent-elles effet ?

Google met généralement à jour sa copie locale du fichier robots.txt sous 24 à 48 heures. Toutefois, vous pouvez forcer un rafraîchissement immédiat via l'outil de test robots.txt de Google Search Console si vous devez lever en urgence un blocage critique d'exploration.