Seo Doktoru
Robots.txt & Sitemap Generator

Robots.txt & Sitemap Generator

Create and download robots.txt rules and sitemap.xml in a few clicks.

robots.txt

User-agent: *
Allow: /
Disallow: /wp-admin/
Disallow: /cart
Disallow: /checkout

Sitemap: https://ornek.com/sitemap.xml

Was ist der Robots.txt- & Sitemap-Generator?

Dieses Tool erstellt in wenigen Klicks die robots.txt-Datei, die Suchmaschinen sagt, welche Teile Ihrer Seite gecrawlt werden sollen, und die sitemap.xml, die alle wichtigen Seiten auflistet. Eine korrekte Konfiguration nutzt Ihr Crawl-Budget effizient.

Robots.txt & Sitemap Generator

So funktioniert's

  1. 1Geben Sie die Allow-/Disallow-Pfade und die Sitemap-Adresse für robots.txt ein.
  2. 2Fügen Sie Ihre Seitenadressen (eine URL pro Zeile) für die Sitemap hinzu.
  3. 3Laden Sie die robots.txt und sitemap.xml herunter und legen Sie sie im Stammverzeichnis ab.

Ergebnis interpretieren

Allow: /
Standardeinstellung — Erlaubt Suchmaschinen den uneingeschränkten Zugriff auf die gesamte Website. Für die meisten regulären Webauftritte ist dies der empfohlene Ausgangspunkt.
Disallow: /admin/
Sensible Bereiche — Sperrt geschützte Verzeichnisse wie Login-Masken, Warenkörbe oder interne Dashboards, die keinen Mehrwert in den organischen Suchergebnissen bieten.
Disallow ≠ Noindex
Häufiger Irrtum — Disallow verhindert nur das Crawlen, nicht die Indexierung extern verlinkter URLs. Um Seiten sicher aus Google zu entfernen, nutzen Sie stattdessen den Meta-Tag noindex.
Sitemap: [URL]
Pflichtverweis — Die Sitemap-Zeile am Ende der robots.txt weist Crawler direkt auf die XML-Struktur hin. Das beschleunigt die Entdeckung neuer oder aktualisierter Inhalte erheblich.
GPTBot & KI-Crawler
Gezielte Steuerung — Wer das Auslesen seiner Inhalte für LLM-Trainingsdaten unterbinden will, sperrt Bots wie GPTBot oder ClaudeBot gezielt aus – ohne normales Google-Ranking zu gefährden.

Wann sinnvoll?

Custom-CMS ohne Plugins

Entwickler individueller Web-Apps ohne WordPress erstellen saubere robots.txt- und sitemap.xml-Dateien direkt im Code, damit Suchmaschinen das System vom ersten Tag an fehlerfrei erfassen.

Crawl-Budget im E-Commerce

Online-Shops sperren Facettenfilter, Warenkörbe und interne Suchen per robots.txt aus. Über die Sitemap gelangen ausschließlich indexierbare, kanonische Produkt-URLs gezielt in Googles Crawling-Warteschlange.

Relaunch von Testumgebungen

Beim Wechsel von Staging auf Live bleibt oft versehentlich Disallow: / aktiv. Das Tool erzeugt blitzschnell freigebende Regeln, um folgenschwere Deindexierungen zu verhindern.

Häufige Fehler

CSS und JS blockieren

Wer Skripte oder Stylesheets per robots.txt sperrt, verhindert Googles visuelles Rendering. Crawler stufen mobile Nutzbarkeit und Layout dann falsch ein – geben Sie Theme-Ressourcen immer frei.

Fehlerhafte URLs in Sitemaps

URLs mit Status 404, Weiterleitungen oder noindex gehören niemals in die XML-Sitemap. Listen Sie dort ausnahmslos kanonische 200-OK-Seiten auf, um Google keine widersprüchlichen Signale zu senden.

Fehlender Schrägstrich am Ende

Ein Eintrag wie Disallow: /kategorie sperrt versehentlich auch /kategorie-neuheiten. Soll nur das Unterverzeichnis blockiert werden, gehört zwingend ein abschließender Slash ans Ende: Disallow: /kategorie/.

Häufige Fragen

Wofür ist robots.txt?

Robots.txt teilt Suchmaschinen-Bots mit, welche Teile Ihrer Seite sie crawlen dürfen; das Sperren unnötiger oder privater Seiten schont Ihr Crawl-Budget.

Warum brauche ich eine Sitemap?

Eine Sitemap präsentiert Suchmaschinen alle wichtigen Seiten in einer Datei und hilft, neue oder schwach verlinkte Seiten schneller zu entdecken.

Wo lade ich die Dateien hoch?

Beide Dateien gehören ins Stammverzeichnis: robots.txt → site.com/robots.txt, sitemap → site.com/sitemap.xml. Reichen Sie die Sitemap auch in der Search Console ein.

Wie viele URLs darf eine einzelne XML-Sitemap maximal enthalten?

Eine einzelne XML-Sitemap darf höchstens 50.000 URLs enthalten und unkomprimiert maximal 50 Megabyte groß sein. Überschreitet Ihr Webauftritt diesen Grenzwert, teilen Sie die URLs auf mehrere Teilsitemaps auf und bündeln diese in einer übergeordneten Sitemap-Indexdatei, die Sie anschließend in der Google Search Console einreichen.

Wann werden Änderungen an der robots.txt durch Suchmaschinen wirksam?

Google aktualisiert die zwischengespeicherte Version der robots.txt meist innerhalb weniger Stunden bis Tage automatisch beim nächsten Abruf. Möchten Sie kritische Änderungen sofort aktivieren, können Sie die neue Datei im robots.txt-Tester der Google Search Console manuell übermitteln und damit die erneute Prüfung anfordern.