Testeur de Robots.txt
Saisissez une URL pour tester instantanément si Googlebot et d'autres bots peuvent explorer cette page selon robots.txt.
Qu'est-ce que le Testeur de Robots.txt ?
Robots.txt est un fichier à la racine de votre site qui indique aux robots des moteurs de recherche quelles pages ils peuvent explorer. Cet outil évalue l'URL que vous saisissez selon les règles robots.txt du site et indique si un robot comme Googlebot peut explorer cette page et quelle règle s'applique.
Comment l'utiliser
- 1Saisissez l'URL complète à tester (ex. https://votresite.com/page-privee).
- 2Choisissez un bot (par défaut : Googlebot) et cliquez sur « Vérifier ».
- 3Voyez le résultat : si la page est explorable, quelle règle a correspondu et les sitemaps.
Interpréter le résultat
Quand l'utiliser
Validation de mise en production
Après avoir basculé un site de préproduction en ligne, vérifiez immédiatement que la directive Disallow: / a bien été retirée pour autoriser l'exploration de vos pages réelles.
Filtrage des facettes e-commerce
Testez l'efficacité de vos règles de blocage sur les paramètres d'URL de tri et de pagination afin d'optimiser votre budget de crawl sans bloquer vos pages catégories.
Isolation des landing pages
Assurez-vous que vos pages d'atterrissage dédiées aux campagnes payantes sont hermétiques aux robots d'exploration avant leur diffusion, évitant ainsi l'indexation de contenus promotionnels dupliqués.
Erreurs fréquentes
Directive Noindex dans robots.txt
Google ignore l'instruction Noindex dans le fichier robots.txt depuis 2019. Pour empêcher l'indexation, autorisez le crawl et intégrez la balise méta robots noindex dans le code HTML.
Caractères génériques mal maîtrisés
L'usage excessif d'astérisques ou du point d'interrogation dans vos règles Disallow risque d'interdire par mégarde des répertoires stratégiques. Testez toujours vos expressions régulières sur des URL concrètes.
Placement hors racine
Placer robots.txt dans un sous-dossier rend le fichier invisible pour les moteurs. Il doit impérativement être accessible à la racine absolue du domaine hôte, sous https://votresite.com/robots.txt.
Questions fréquentes
Ma page affiche « Bloquée », que faire ?
Si vous voulez que cette page apparaisse dans Google, supprimez ou restreignez la règle Disallow correspondante dans robots.txt. Les pages bloquées ne sont généralement pas explorées.
Si robots.txt bloque une page, n'apparaîtra-t-elle jamais dans Google ?
Robots.txt bloque l'exploration ; mais une URL liée depuis d'autres sites peut quand même être indexée sans que son contenu soit exploré. Pour exclure totalement une page, utilisez une balise meta « noindex » plutôt que robots.txt.
Si Allow et Disallow se contredisent, lequel l'emporte ?
Dans Google, la règle correspondante la plus longue (la plus spécifique) l'emporte ; à longueur égale, Allow est prioritaire. Cet outil applique la même logique.
Que se passe-t-il si je n'ai pas de robots.txt ?
Sans robots.txt, les bots explorent toutes les pages par défaut. Ce n'est pas un problème ; robots.txt n'est pas obligatoire pour la plupart des petits sites.
Quand Google prend-il en compte les modifications du robots.txt ?
Google actualise généralement sa copie du fichier robots.txt toutes les 24 heures. Si vous venez de corriger une règle bloquante urgente, utilisez l'outil de test de la Google Search Console pour demander une réindexation prioritaire de votre fichier afin d'accélérer la prise en compte.
Bloquer un sous-dossier bloque-t-il automatiquement ses fichiers ?
Oui, toute directive Disallow appliquée à un chemin bloque l'intégralité des sous-dossiers et fichiers situés sous cette arborescence. Par exemple, la règle Disallow: /admin/ bloque aussi /admin/login.php. Pour autoriser un sous-élément précis, vous devez impérativement ajouter une exception explicite avec la commande Allow.