Seo Doktoru
Robots.txt-Tester

Robots.txt-Tester

Geben Sie eine URL ein, um sofort zu testen, ob Googlebot und andere Bots diese Seite laut robots.txt crawlen dürfen.

Was ist der Robots.txt-Tester?

Robots.txt ist eine Datei im Stammverzeichnis Ihrer Website, die Suchmaschinen-Bots sagt, welche Seiten sie crawlen dürfen. Dieses Tool bewertet die eingegebene URL anhand der robots.txt-Regeln der Website und zeigt, ob ein Bot wie Googlebot diese Seite crawlen darf und welche Regel gilt.

Robots.txt-Tester

So funktioniert's

  1. 1Geben Sie die vollständige URL ein, die Sie testen möchten (z. B. https://ihre-seite.de/private-seite).
  2. 2Wählen Sie einen Bot (Standard: Googlebot) und klicken Sie auf 'Prüfen'.
  3. 3Sehen Sie das Ergebnis: ob die Seite crawlbar ist, welche Regel zutraf und die Sitemaps.

Ergebnis interpretieren

Allowed
Crawlbar — Googlebot darf diese URL abrufen. Dies garantiert keine Indexierung im Suchergebnis, sondern bestätigt lediglich den ungehinderten Bot-Zugriff.
Blocked
Gesperrt — Eine Disallow-Regel blockiert das Crawling. Für reguläre Zielseiten oder wichtige Inhalte ist dieser Status meist ein schwerer Konfigurationsfehler.
Blockiert, aber indexiert
Widersprüchlich — Crawl-Sperren verhindern keinen Index-Eintrag durch externe Links. Nutzen Sie 'noindex' im HTML-Header statt robots.txt, um Seiten sicher auszublenden.
CSS- & JS-Blockade
Kritisch — Googlebot kann das Seitenlayout ohne Assets nicht rendern. Blockieren Sie niemals Script- oder Styling-Ressourcen, da dies Rankingeinbußen verursacht.
Bot-spezifische Regeln
Prüfbedarf — Pfade können für Googlebot freigegeben, aber für Bingbot oder KI-Crawler gesperrt sein. Prüfen Sie User-Agent-Direktiven stets separat.

Wann sinnvoll?

Relaunch und Go-Live

Prüfen Sie unmittelbar nach dem Server-Umzug, ob das typische 'Disallow: /' aus der Staging-Umgebung gelöscht wurde, damit Googlebot die echte Domain sofort crawlen kann.

E-Commerce Filterprüfung

Testen Sie komplexe Regex-Pfade für Sortierungen und Facettenfilter einzeln, um sicherzustellen, dass nur unnötige URL-Parameter geblockt werden, nicht aber wertvolle Kategorieseiten.

Reine SEA-Landingpages

Verifizieren Sie vor Kampagnenstart, dass exklusive Google-Ads-Zielseiten sauber für Crawler gesperrt sind, um wertvolles Crawling-Budget gezielt für organische Rankings zu schonen.

Häufige Fehler

Noindex-Befehl in robots.txt

Google ignoriert 'Noindex' in der robots.txt seit 2019 komplett. Um Indexierung zu verhindern, muss die URL crawlbar bleiben und ein Meta-Robots-Tag 'noindex' im HTML tragen.

Unvorsichtige Wildcard-Muster

Ein unbedachtes 'Disallow: /*?*' sperrt oft ungewollt wichtige paginierte Seiten oder kanonische URLs aus. Nutzen Sie spezifische Endungen oder exakte Pfade mit Dollarzeichen.

Falscher Speicherort

Eine robots.txt in Unterordnern wie 'domain.de/blog/robots.txt' wird von Suchmaschinen ignoriert. Die Datei ist technisch ausschließlich im Hauptverzeichnis auf Root-Ebene unter 'domain.de/robots.txt' gültig.

Häufige Fragen

Meine Seite ist 'Blockiert' — was tun?

Wenn die Seite in Google erscheinen soll, entfernen oder verengen Sie die entsprechende Disallow-Regel in der robots.txt. Blockierte Seiten werden meist nicht gecrawlt.

Erscheint eine von robots.txt blockierte Seite nie in Google?

Robots.txt blockiert das Crawlen; eine von anderen Seiten verlinkte URL kann aber ohne Crawling des Inhalts dennoch indexiert werden. Um eine Seite vollständig auszuschließen, verwenden Sie ein 'noindex'-Meta-Tag statt robots.txt.

Wenn Allow und Disallow kollidieren, was gewinnt?

In Google gewinnt die längste (spezifischste) zutreffende Regel; bei gleicher Länge hat Allow Vorrang. Dieses Tool wendet dieselbe Logik an.

Was, wenn ich keine robots.txt habe?

Ohne robots.txt crawlen Bots standardmäßig alle Seiten. Das ist kein Problem; für die meisten kleinen Websites ist robots.txt nicht erforderlich.

Wie schnell übernimmt Google Änderungen an der robots.txt?

Google ruft die robots.txt in der Regel mehrmals täglich ab, oft innerhalb von 24 Stunden nach einer Änderung. Gecachte Versionen im Google-Index können die Aktualisierung leicht verzögern. Über die Google Search Console lässt sich die Datei jedoch manuell neu anfordern, wodurch Änderungen oft schon binnen weniger Stunden wirksam werden.

Sperrt ein blockiertes Verzeichnis automatisch alle Unterseiten?

Ja, die Direktive 'Disallow: /ordner/' sperrt automatisch alle darunterliegenden URLs und Unterordner, die mit diesem Pfad beginnen. Suchmaschinen werten Pfade prefixbasiert aus. Eine Ausnahme greift nur dann, wenn Sie mit einer spezifischeren 'Allow:'-Regel einzelne Dateien ausdrücklich wieder freigeben. Ohne explizites Allow bleibt die gesamte Verzeichnisstruktur unzugänglich.