Проверить

robots.txt / обход / индексация

Проверка robots.txt онлайн

Введите домен сайта. Инструмент проверит файл robots.txt, найдет User-agent, Disallow, Allow, Sitemap, общий запрет обхода и первые SEO-риски для индексации.

по домену без регистрации SEO-задачи

Быстрая проверка

Домен сайта

robots

Проверка читает только публичный файл robots.txt и не сканирует весь сайт.

Что проверяем

Robots.txt влияет на обход, но не заменяет SEO-аудит

Файл robots.txt нужен, чтобы управлять обходом технических и служебных URL. Ошибка в нем может закрыть важные разделы, спрятать sitemap или создать конфликт с noindex и canonical.

ДоступностьHTTP-статус robots.txt, размер файла, количество строк и директив.
User-agentКакие роботы получают правила: все боты, Яндекс, Googlebot или отдельные crawler-системы.
Disallow и AllowКакие пути закрыты или явно разрешены, есть ли общий запрет обхода и рискованные блокировки важных разделов.
SitemapЕсть ли директива Sitemap, нет ли дублей и можно ли быстро найти XML-карты сайта.

Приоритеты

Какие ошибки robots.txt исправлять первыми

Главная ошибка при работе с robots.txt - лечить им все проблемы индексации. Файл управляет обходом, но не решает дубли, тонкий контент, слабую структуру и плохие коммерческие страницы.

P0 - критичноНа рабочем сайте найден User-agent: * и Disallow: /. Это может остановить обход всего сайта.
P1 - важноЗакрыты категории, услуги, товары, блог, knowledge или другие разделы, которые должны собирать поисковый спрос.
P2 - порядокНет Sitemap, есть дубли Sitemap, слишком много старых правил или неясно, какие боты получают ограничения.
P3 - контрольПосле редизайна, смены CMS или настройки фильтров нужно повторно проверить robots.txt и sitemap.xml вместе.

Методика

Как читать результат проверки robots.txt

Если файл доступен и содержит Sitemap, это еще не значит, что с индексацией все хорошо. Нужно смотреть, не закрыты ли важные URL, не противоречат ли правила canonical и noindex, а также не попадают ли в sitemap страницы, которые запрещены к обходу.

Robots.txt особенно важен для интернет-магазинов, каталогов, сайтов на CMS с фильтрами, параметрами, сортировками и служебными разделами. Но чрезмерные запреты могут навредить: робот перестанет обходить страницы, которые нужны для ранжирования.

После проверки

  • Сначала устраните общий запрет обхода, если он есть на рабочем сайте.
  • Проверьте, что важные коммерческие страницы не закрыты Disallow.
  • Добавьте Sitemap, если его нет в robots.txt.
  • Сверьте robots.txt с sitemap.xml, canonical и meta robots.
  • После правок проверьте индексацию в Яндекс.Вебмастере и Google Search Console.

Связанные проверки

Один robots.txt не показывает всю картину индексации. Его нужно смотреть вместе с sitemap.xml, canonical, noindex, статусами ответа и реальными страницами входа из поиска.

SEO-аудит сайта онлайнПроверка robots.txt вместе с sitemap.xml, canonical, noindex, schema, скоростью и коммерческими факторами. Что такое robots.txtСправочная статья: как работает файл, какие ошибки бывают и чем он отличается от noindex. Что такое sitemap.xmlКак карта сайта помогает обходу и почему ее нужно сверять с robots.txt. Техническое SEOЕсли проблемы с robots.txt связаны с CMS, фильтрами, дублями, редиректами и индексацией.

FAQ

Вопросы про проверку robots.txt

Что проверяет robots.txt checker?

Инструмент проверяет доступность robots.txt, HTTP-статус, User-agent, Disallow, Allow, Sitemap, общий запрет обхода сайта и потенциально рискованные запреты важных разделов.

Опасен ли Disallow: / в robots.txt?

Да, если он находится в блоке User-agent: * на рабочем сайте. Такая директива может закрыть сайт от обхода поисковыми роботами и помешать индексации важных страниц.

Нужно ли указывать Sitemap в robots.txt?

Это не единственный способ сообщить карту сайта поисковикам, но директива Sitemap в robots.txt помогает роботам быстрее найти актуальные XML-карты.

Можно ли закрывать параметры и фильтры через robots.txt?

Иногда можно, но это нужно делать осторожно. Если закрыть важные категории, товары или страницы услуг, поисковые роботы могут перестать обходить посадочные, которые должны приносить трафик.

Чем robots.txt отличается от noindex?

Robots.txt управляет обходом URL роботами, а noindex управляет индексацией страницы. Если страница закрыта в robots.txt, робот может не увидеть meta noindex внутри HTML.

Когда нужно проверять robots.txt?

Robots.txt стоит проверять после редизайна, переноса CMS, запуска нового сайта, изменения фильтров, правок разработчика, падения индексации или перед стартом SEO-продвижения.