Robots.txt-Tester
Geben Sie eine URL ein, um sofort zu testen, ob Googlebot und andere Bots diese Seite laut robots.txt crawlen dürfen.
Was ist der Robots.txt-Tester?
Robots.txt ist eine Datei im Stammverzeichnis Ihrer Website, die Suchmaschinen-Bots sagt, welche Seiten sie crawlen dürfen. Dieses Tool bewertet die eingegebene URL anhand der robots.txt-Regeln der Website und zeigt, ob ein Bot wie Googlebot diese Seite crawlen darf und welche Regel gilt.
So funktioniert's
- 1Geben Sie die vollständige URL ein, die Sie testen möchten (z. B. https://ihre-seite.de/private-seite).
- 2Wählen Sie einen Bot (Standard: Googlebot) und klicken Sie auf 'Prüfen'.
- 3Sehen Sie das Ergebnis: ob die Seite crawlbar ist, welche Regel zutraf und die Sitemaps.
Häufige Fragen
Meine Seite ist 'Blockiert' — was tun?
Wenn die Seite in Google erscheinen soll, entfernen oder verengen Sie die entsprechende Disallow-Regel in der robots.txt. Blockierte Seiten werden meist nicht gecrawlt.
Erscheint eine von robots.txt blockierte Seite nie in Google?
Robots.txt blockiert das Crawlen; eine von anderen Seiten verlinkte URL kann aber ohne Crawling des Inhalts dennoch indexiert werden. Um eine Seite vollständig auszuschließen, verwenden Sie ein 'noindex'-Meta-Tag statt robots.txt.
Wenn Allow und Disallow kollidieren, was gewinnt?
In Google gewinnt die längste (spezifischste) zutreffende Regel; bei gleicher Länge hat Allow Vorrang. Dieses Tool wendet dieselbe Logik an.
Was, wenn ich keine robots.txt habe?
Ohne robots.txt crawlen Bots standardmäßig alle Seiten. Das ist kein Problem; für die meisten kleinen Websites ist robots.txt nicht erforderlich.