Probador de Robots.txt
Introduce una URL para comprobar al instante si Googlebot y otros bots pueden rastrear esa página según robots.txt.
¿Qué es el Probador de Robots.txt?
Robots.txt es un archivo en el directorio raíz de tu sitio que indica a los bots de los buscadores qué páginas pueden rastrear. Esta herramienta evalúa la URL que introduces según las reglas de robots.txt del sitio y muestra si un bot como Googlebot puede rastrear esa página y qué regla se aplica.
Cómo usarla
- 1Introduce la URL completa que quieres probar (p. ej. https://tusitio.com/pagina-privada).
- 2Elige un bot (por defecto: Googlebot) y pulsa 'Comprobar'.
- 3Ve el resultado: si la página es rastreable, qué regla coincidió y los sitemaps.
Preguntas frecuentes
Mi página sale 'Bloqueada', ¿qué hago?
Si quieres que esa página aparezca en Google, elimina o restringe la regla Disallow correspondiente en robots.txt. Las páginas bloqueadas no suelen rastrearse.
Si robots.txt bloquea una página, ¿nunca saldrá en Google?
Robots.txt bloquea el rastreo; pero una URL enlazada desde otros sitios aún puede indexarse sin que se rastree su contenido. Para excluir una página por completo, usa una etiqueta meta 'noindex' en vez de robots.txt.
Si Allow y Disallow chocan, ¿cuál gana?
En Google gana la regla coincidente más larga (más específica); si la longitud es igual, prevalece Allow. Esta herramienta aplica la misma lógica.
¿Qué pasa si no tengo robots.txt?
Sin robots.txt, los bots rastrean todas las páginas por defecto. No es un problema; robots.txt no es obligatorio para la mayoría de los sitios pequeños.