Тестер Robots.txt
Введите URL, чтобы мгновенно проверить, могут ли Googlebot и другие боты сканировать эту страницу по robots.txt.
Что такое Тестер Robots.txt?
Robots.txt — это файл в корне вашего сайта, который сообщает поисковым ботам, какие страницы они могут сканировать. Инструмент оценивает введённый URL по правилам robots.txt сайта и показывает, может ли бот вроде Googlebot сканировать эту страницу и какое правило применяется.
Как пользоваться
- 1Введите полный URL, который хотите проверить (напр. https://вашсайт.com/private).
- 2Выберите бота (по умолчанию: Googlebot) и нажмите «Проверить».
- 3Посмотрите результат: сканируется ли страница, какое правило совпало и карты сайта.
Частые вопросы
Моя страница «Заблокировано» — что делать?
Если вы хотите, чтобы страница появлялась в Google, удалите или сузьте соответствующее правило Disallow в robots.txt. Заблокированные страницы обычно не сканируются.
Если robots.txt блокирует страницу, она никогда не появится в Google?
Robots.txt блокирует сканирование; но URL, на который ссылаются другие сайты, всё равно может быть проиндексирован без сканирования содержимого. Чтобы полностью исключить страницу, используйте мета-тег 'noindex' вместо robots.txt.
Если Allow и Disallow конфликтуют, что побеждает?
В Google побеждает самое длинное (наиболее специфичное) совпавшее правило; при равной длине приоритет у Allow. Этот инструмент применяет ту же логику.
Что если у меня нет robots.txt?
Без robots.txt боты по умолчанию сканируют все страницы. Это не проблема; для большинства небольших сайтов robots.txt не обязателен.