Симулятор Googlebot
Введите URL; инструмент ведёт себя как настоящий Googlebot, заходит на ваш сайт и показывает, может ли он получить доступ и что именно видит.
Вам не обязательно делать всё это самостоятельно
Доверьте SEO нашей команде экспертов: готовые SEO-пакеты от 850 ₺, разовая оплата.
Что такое Симулятор Googlebot?
Этот инструмент заходит на введённый адрес, ведя себя точно как поисковый робот Google (Googlebot). Он использует официальный мобильный user-agent Googlebot, оценивает правила robots.txt по логике сопоставления Google, следует редиректам и в итоге показывает, что именно Googlebot видит на этой странице — код статуса, заголовок, описание, canonical, заголовки, текст, ссылки и изображения. Он также загружает страницу как обычный браузер и сравнивает обе версии, выявляя 'клоакинг' (показ роботу иного контента, чем пользователям), который Google наказывает.
Как пользоваться
- 1Введите полный URL для проверки (например, https://вашсайт.com/tovar).
- 2Нажмите 'Симулировать'; инструмент заходит на страницу, представляясь как Googlebot.
- 3Изучите результат: доступна ли страница для сканирования, индексируема ли, что увидел Googlebot и согласован ли контент.
Как читать результаты
Когда использовать
Проверка настроек WAF
Убедитесь, что правила Cloudflare или фаервол хостинга не отдают ошибку 403 мобильному юзерагенту робота, ошибочно принимая сканирование поисковика за вредоносную DDoS-атаку на сервер.
Контроль цепочек редиректов
Проверьте после миграции сайта, доходит ли робот напрямую до финального URL с кодом 200 без промежуточных 302 ответов и циклических перенаправлений, расходующих краулинговый бюджет.
Потери динамических данных
Проконтролируйте, присутствуют ли цены, остатки товаров и отзывы в исходном коде страницы, или они генерируются на клиенте и полностью теряются для индексации поисковыми системами.
Частые ошибки
Игнорирование статус-кода HTTP
Не оценивайте страницу только визуально. Если робот получает коды 404, 500 или цепочку 302, контент не попадет в индекс, даже если в браузере страница открывается без видимых сбоев.
Забытая проверка по IP
Симулятор подменяет User-Agent, но не IP-адрес Google. Если сервер фильтрует ботов по rDNS, инструмент получит 403, хотя реальный Googlebot будет допущен к сканированию без препятствий.
Игнорирование сырого HTML
Анализировать лишь отрендеренный вид ошибочно: скрытый во вкладках или аккордеонах текст должен присутствовать в первичном ответе сервера, иначе поисковый робот может вовсе не прочесть важные фрагменты.
Частые вопросы
Инструмент правда ведёт себя как Googlebot?
Да. Запрос отправляется с официальной строкой user-agent Googlebot Smartphone, а правила robots.txt оцениваются по реальной логике Google (побеждает самое длинное совпавшее правило, при равенстве побеждает Allow, поддерживаются * и $). Однако он не имитирует этап 'рендеринга' Google, выполняющий JavaScript в браузере; он анализирует только первый HTML-ответ.
Моя страница вернулась как 'noindex', что это значит?
Googlebot достигает страницы, но в теге meta robots или в заголовке X-Robots-Tag есть инструкция 'noindex'. Это значит, что страница не появится в результатах Google. Если хотите, чтобы её проиндексировали, нужно убрать эту инструкцию.
Что означает предупреждение 'подозрение на клоакинг'?
Инструмент загружает страницу и как Googlebot, и как обычный браузер. Если отданный каждому контент существенно различается (код статуса, заголовок или размер), выдаётся предупреждение. Google запрещает и наказывает показ роботу и пользователям разного контента (клоакинг), поэтому стоит выяснить причину различия.
Видит ли он контент, загружаемый через JavaScript?
Этот инструмент анализирует исходный HTML с сервера; он не выполняет JavaScript, как браузер. Если большая часть вашего контента загружается только через JavaScript, текст, который Googlebot видит при первом сканировании, может выглядеть скудным — что само по себе важный SEO-вывод.
Если инструмент вернул код 200 OK, гарантирует ли это попадание в индекс Google?
Нет, код 200 OK подтверждает только техническую доступность страницы для краулера. Окончательное решение об индексации зависит от уникальности текста, соответствия требованиям качества Search Essentials, отсутствия дублей и распределения ссылочного веса внутри сайта. Доступность — это лишь первый базовый этап сканирования.
Если сервер блокирует этот симулятор, заблокирован ли реальный Googlebot?
Не обязательно. Большинство современных систем защиты, например Cloudflare, проверяют подлинность робота через обратный поиск DNS (rDNS). Симулятор отправляет запросы со стороннего IP-адреса, поэтому строгий фаервол справедливо блокирует его как поддельного бота, пропуская при этом официальные серверы Google.