Robots.txt & Generador de sitemap

Cree y descargue sus reglas de robots.txt y su archivo sitemap.xml en pocos clics.

robots.txt

User-agent: *
Allow: /
Disallow: /wp-admin/
Disallow: /cart
Disallow: /checkout

Sitemap: https://ornek.com/sitemap.xml

No tiene que hacer todo esto usted mismo

Deje que nuestro equipo de expertos gestione su SEO: paquetes de SEO listos para usar desde 850 ₺, con un pago único.

¿Qué es el generador de robots.txt y sitemap?

Esta herramienta crea en pocos clics el archivo robots.txt que indica a los buscadores qué partes de tu sitio rastrear, y el sitemap.xml que lista todas tus páginas importantes. Una configuración correcta te ayuda a usar tu presupuesto de rastreo de forma eficiente.

Generador de robots.txt y sitemap

Cómo usarlo

  1. 1Introduce las rutas permitidas/bloqueadas y la dirección del sitemap para robots.txt.
  2. 2Añade las direcciones de tus páginas (una URL por línea) para el sitemap.
  3. 3Descarga los archivos robots.txt y sitemap.xml y súbelos a la raíz de tu sitio.

Cómo interpretar el resultado

Allow: /
Predeterminado — Permite el rastreo de todo el sitio web. Es la configuración inicial adecuada para la inmensa mayoría de proyectos.
Disallow: /panel/
Áreas privadas — Bloquea directorios sensibles como accesos de administración, carritos de compra o cuentas de usuario que no aportan valor SEO.
Disallow no es noindex
Error habitual — Robots.txt frena el rastreo técnico, pero no garantiza la desindexación; para retirar una URL de Google debes usar la etiqueta noindex.
Directiva Sitemap
Línea obligatoria — Añade la URL completa de tu sitemap al final del robots.txt para que cualquier rastreador descubra tu inventario de páginas de inmediato.
Bots de IA
Decisión estratégica — Restringir agentes como GPTBot o ClaudeBot impide que entrenen modelos con tu contenido, pero omitirá tu web en sus respuestas generativas.

Cuándo usarlo

Webs a medida

En desarrollos propios sin plugins automáticos, esta herramienta genera ambos archivos para asegurar que Google rastree e indexe la estructura raíz desde el primer día.

Rastreo en e-commerce

Bloquea páginas de filtros, carrito o búsquedas internas con robots.txt mientras envías únicamente URLs limpias y canónicas de productos directamente en tu sitemap.xml.

Migración a producción

Evita perder tráfico orgánico al pasar de staging a real, eliminando el clásico bloqueo accidental de todo el dominio antes de abrirlo al público.

Errores comunes

Bloquear CSS y JS

Impedir el acceso a scripts o estilos en robots.txt dificulta el renderizado de Googlebot, afectando negativamente a la evaluación visual y responsive de tu página.

URLs no canónicas

No incluyas en el sitemap enlaces con redirecciones 301, errores 404 ni etiquetas noindex; el archivo debe contener exclusivamente páginas con código de estado 200.

Omitir la barra

Escribir Disallow: /blog bloquea también rutas como /blog-nuevo. Para restringir únicamente esa carpeta específica, debes cerrar siempre la regla con barra: Disallow: /blog/.

Preguntas frecuentes

¿Para qué sirve robots.txt?

Robots.txt indica a los bots de los buscadores qué partes de tu sitio pueden rastrear; bloquear páginas innecesarias o privadas protege tu presupuesto de rastreo.

¿Por qué necesito un sitemap?

Un sitemap presenta todas tus páginas importantes a los buscadores en un solo archivo y ayuda a que las páginas nuevas o poco enlazadas se descubran más rápido.

¿Dónde subo los archivos?

Ambos archivos van en la raíz: site.com/robots.txt y site.com/sitemap.xml. Envía también el sitemap en Search Console.

¿Cuántas URLs caben en un sitemap?

Un archivo sitemap.xml admite hasta 50.000 URLs y un peso máximo de 50 MB sin comprimir. Si tu sitio web supera estos límites, debes dividir los enlaces en varios sitemaps más pequeños y agruparlos mediante un archivo sitemap index central para que los buscadores los procesen sin problemas.

¿Cuándo surten efecto los cambios?

Las modificaciones en robots.txt suelen tardar entre unas pocas horas y un par de días en aplicarse por completo. Googlebot descarga y almacena en caché el archivo periódicamente; si necesitas acelerar la lectura de nuevas reglas críticas, puedes solicitar una actualización manual desde Search Console.