Testeur de Robots.txt
Saisissez une URL pour tester instantanément si Googlebot et d'autres bots peuvent explorer cette page selon robots.txt.
Qu'est-ce que le Testeur de Robots.txt ?
Robots.txt est un fichier à la racine de votre site qui indique aux robots des moteurs de recherche quelles pages ils peuvent explorer. Cet outil évalue l'URL que vous saisissez selon les règles robots.txt du site et indique si un robot comme Googlebot peut explorer cette page et quelle règle s'applique.
Comment l'utiliser
- 1Saisissez l'URL complète à tester (ex. https://votresite.com/page-privee).
- 2Choisissez un bot (par défaut : Googlebot) et cliquez sur « Vérifier ».
- 3Voyez le résultat : si la page est explorable, quelle règle a correspondu et les sitemaps.
Questions fréquentes
Ma page affiche « Bloquée », que faire ?
Si vous voulez que cette page apparaisse dans Google, supprimez ou restreignez la règle Disallow correspondante dans robots.txt. Les pages bloquées ne sont généralement pas explorées.
Si robots.txt bloque une page, n'apparaîtra-t-elle jamais dans Google ?
Robots.txt bloque l'exploration ; mais une URL liée depuis d'autres sites peut quand même être indexée sans que son contenu soit exploré. Pour exclure totalement une page, utilisez une balise meta « noindex » plutôt que robots.txt.
Si Allow et Disallow se contredisent, lequel l'emporte ?
Dans Google, la règle correspondante la plus longue (la plus spécifique) l'emporte ; à longueur égale, Allow est prioritaire. Cet outil applique la même logique.
Que se passe-t-il si je n'ai pas de robots.txt ?
Sans robots.txt, les bots explorent toutes les pages par défaut. Ce n'est pas un problème ; robots.txt n'est pas obligatoire pour la plupart des petits sites.