Robots.txt & Sitemap Generator
Create and download robots.txt rules and sitemap.xml in a few clicks.
robots.txt
User-agent: *
Allow: /
Disallow: /wp-admin/
Disallow: /cart
Disallow: /checkout
Sitemap: https://ornek.com/sitemap.xml¿Qué es el generador de robots.txt y sitemap?
Esta herramienta crea en pocos clics el archivo robots.txt que indica a los buscadores qué partes de tu sitio rastrear, y el sitemap.xml que lista todas tus páginas importantes. Una configuración correcta te ayuda a usar tu presupuesto de rastreo de forma eficiente.
Cómo usarlo
- 1Introduce las rutas permitidas/bloqueadas y la dirección del sitemap para robots.txt.
- 2Añade las direcciones de tus páginas (una URL por línea) para el sitemap.
- 3Descarga los archivos robots.txt y sitemap.xml y súbelos a la raíz de tu sitio.
Cómo interpretar el resultado
Cuándo usarlo
Webs a medida
En desarrollos propios sin plugins automáticos, esta herramienta genera ambos archivos para asegurar que Google rastree e indexe la estructura raíz desde el primer día.
Rastreo en e-commerce
Bloquea páginas de filtros, carrito o búsquedas internas con robots.txt mientras envías únicamente URLs limpias y canónicas de productos directamente en tu sitemap.xml.
Migración a producción
Evita perder tráfico orgánico al pasar de staging a real, eliminando el clásico bloqueo accidental de todo el dominio antes de abrirlo al público.
Errores comunes
Bloquear CSS y JS
Impedir el acceso a scripts o estilos en robots.txt dificulta el renderizado de Googlebot, afectando negativamente a la evaluación visual y responsive de tu página.
URLs no canónicas
No incluyas en el sitemap enlaces con redirecciones 301, errores 404 ni etiquetas noindex; el archivo debe contener exclusivamente páginas con código de estado 200.
Omitir la barra
Escribir Disallow: /blog bloquea también rutas como /blog-nuevo. Para restringir únicamente esa carpeta específica, debes cerrar siempre la regla con barra: Disallow: /blog/.
Preguntas frecuentes
¿Para qué sirve robots.txt?
Robots.txt indica a los bots de los buscadores qué partes de tu sitio pueden rastrear; bloquear páginas innecesarias o privadas protege tu presupuesto de rastreo.
¿Por qué necesito un sitemap?
Un sitemap presenta todas tus páginas importantes a los buscadores en un solo archivo y ayuda a que las páginas nuevas o poco enlazadas se descubran más rápido.
¿Dónde subo los archivos?
Ambos archivos van en la raíz: site.com/robots.txt y site.com/sitemap.xml. Envía también el sitemap en Search Console.
¿Cuántas URLs caben en un sitemap?
Un archivo sitemap.xml admite hasta 50.000 URLs y un peso máximo de 50 MB sin comprimir. Si tu sitio web supera estos límites, debes dividir los enlaces en varios sitemaps más pequeños y agruparlos mediante un archivo sitemap index central para que los buscadores los procesen sin problemas.
¿Cuándo surten efecto los cambios?
Las modificaciones en robots.txt suelen tardar entre unas pocas horas y un par de días en aplicarse por completo. Googlebot descarga y almacena en caché el archivo periódicamente; si necesitas acelerar la lectura de nuevas reglas críticas, puedes solicitar una actualización manual desde Search Console.