Seo Doktoru
Robots.txt & Sitemap Generator

Robots.txt & Sitemap Generator

Create and download robots.txt rules and sitemap.xml in a few clicks.

robots.txt

User-agent: *
Allow: /
Disallow: /wp-admin/
Disallow: /cart
Disallow: /checkout

Sitemap: https://ornek.com/sitemap.xml

Что такое генератор robots.txt и sitemap?

Этот инструмент за пару кликов создаёт файл robots.txt, который сообщает поисковикам, какие части сайта сканировать, и sitemap.xml, который перечисляет все важные страницы. Правильная настройка помогает эффективно расходовать краулинговый бюджет.

Robots.txt & Sitemap Generator

Как пользоваться

  1. 1Введите разрешённые/запрещённые пути и адрес sitemap для robots.txt.
  2. 2Добавьте адреса ваших страниц (по одному URL в строке) для sitemap.
  3. 3Скачайте файлы robots.txt и sitemap.xml и загрузите их в корень сайта.

Как читать результаты

Allow: /
По умолчанию — Разрешает поисковым роботам сканировать весь сайт. Это стандартная и рекомендуемая отправная точка для большинства веб-ресурсов.
Disallow: /panel/
Служебные разделы — Закрывает от краулинга служебные пути вроде админки, корзины заказов или личных кабинетов, которым не место в поиске.
Disallow — не noindex
Частая ошибка — Robots.txt запрещает только скачивание страницы, но не гарантирует удаление из индекса при наличии внешних ссылок. Для скрытия используйте noindex.
Директива Sitemap
Обязательно — Укажите абсолютный URL карты сайта в конце robots.txt, чтобы краулеры мгновенно нашли все важные посадочные страницы ресурса.
Блокировка AI-ботов
По решению владельца — Запрет для GPTBot или ClaudeBot защитит контент от обучения нейросетей, но исключит появление сайта в генеративных ответах ИИ.

Когда использовать

Запуск самописного сайта

Для проектов без готовых плагинов генератор моментально создает базовый robots.txt и карту, гарантируя корректный обход страниц роботами Яндекса и Google с первых дней релиза.

Оптимизация интернет-магазина

Помогает закрыть от индексации бесконечные фильтры, корзину и результаты внутреннего поиска, одновременно передавая ботам чистый список товарных страниц через карту сайта для экономии краулингового бюджета.

Перенос с тестового сервера

Защищает сайт от случайного выпадения из выдачи: позволяет вовремя удалить тестовую директиву Disallow: /, открывая основной домен для поисковых ботов сразу после публикации.

Частые ошибки

Блокировка стилей и скриптов

Закрытие доступа к папкам с CSS и JS мешает Googlebot и Yandex корректно отрендерить страницу. Всегда оставляйте файлы оформления и логики открытыми для ботов.

Мусорные URL в карте

Добавление страниц с кодами 404, 301-редиректов или тегом noindex расходует ресурсы роботов. Включайте в sitemap.xml исключительно канонические страницы с кодом ответа 200 OK.

Пропущенный слэш в правилах

Запись вида Disallow: /catalog закроет не только саму папку, но и адрес /catalog-sale. Для изоляции конкретного каталога всегда завершайте правило слэшем: Disallow: /catalog/.

Частые вопросы

Для чего нужен robots.txt?

Robots.txt сообщает ботам поисковиков, какие части сайта можно сканировать; блокировка ненужных или приватных страниц бережёт краулинговый бюджет.

Зачем нужен sitemap?

Sitemap показывает поисковикам все важные страницы в одном файле и помогает быстрее обнаруживать новые или слабо связанные страницы.

Куда загружать файлы?

Оба файла размещаются в корне: site.com/robots.txt и site.com/sitemap.xml. Также отправьте sitemap в Search Console.

Сколько страниц можно добавить в один sitemap.xml?

Один файл sitemap.xml вмещает максимум 50 000 URL и не должен превышать 50 МБ в несжатом виде. Если ваш ресурс крупнее, разбейте карту на несколько частей и объедините их через общий индексный файл sitemap-index.xml, указав его в robots.txt.

Когда поисковики увидят изменения в robots.txt?

Роботы считывают обновленный robots.txt при следующем обращении к сайту — обычно в течение 24–48 часов. Поисковые системы кэшируют файл примерно на сутки. Чтобы ускорить проверку, отправьте файл на переобход вручную через Google Search Console или Яндекс Вебмастер.