robots.txt / обход / индексация
Проверка robots.txt онлайн
Введите домен сайта. Инструмент проверит файл robots.txt, найдет User-agent, Disallow, Allow, Sitemap, общий запрет обхода и первые SEO-риски для индексации.
Быстрая проверка
Домен сайта
Что проверяем
Robots.txt влияет на обход, но не заменяет SEO-аудит
Файл robots.txt нужен, чтобы управлять обходом технических и служебных URL. Ошибка в нем может закрыть важные разделы, спрятать sitemap или создать конфликт с noindex и canonical.
| Доступность | HTTP-статус robots.txt, размер файла, количество строк и директив. |
|---|---|
| User-agent | Какие роботы получают правила: все боты, Яндекс, Googlebot или отдельные crawler-системы. |
| Disallow и Allow | Какие пути закрыты или явно разрешены, есть ли общий запрет обхода и рискованные блокировки важных разделов. |
| Sitemap | Есть ли директива Sitemap, нет ли дублей и можно ли быстро найти XML-карты сайта. |
Приоритеты
Какие ошибки robots.txt исправлять первыми
Главная ошибка при работе с robots.txt - лечить им все проблемы индексации. Файл управляет обходом, но не решает дубли, тонкий контент, слабую структуру и плохие коммерческие страницы.
| P0 - критично | На рабочем сайте найден User-agent: * и Disallow: /. Это может остановить обход всего сайта. |
|---|---|
| P1 - важно | Закрыты категории, услуги, товары, блог, knowledge или другие разделы, которые должны собирать поисковый спрос. |
| P2 - порядок | Нет Sitemap, есть дубли Sitemap, слишком много старых правил или неясно, какие боты получают ограничения. |
| P3 - контроль | После редизайна, смены CMS или настройки фильтров нужно повторно проверить robots.txt и sitemap.xml вместе. |
Методика
Как читать результат проверки robots.txt
Если файл доступен и содержит Sitemap, это еще не значит, что с индексацией все хорошо. Нужно смотреть, не закрыты ли важные URL, не противоречат ли правила canonical и noindex, а также не попадают ли в sitemap страницы, которые запрещены к обходу.
Robots.txt особенно важен для интернет-магазинов, каталогов, сайтов на CMS с фильтрами, параметрами, сортировками и служебными разделами. Но чрезмерные запреты могут навредить: робот перестанет обходить страницы, которые нужны для ранжирования.
После проверки
- Сначала устраните общий запрет обхода, если он есть на рабочем сайте.
- Проверьте, что важные коммерческие страницы не закрыты Disallow.
- Добавьте Sitemap, если его нет в robots.txt.
- Сверьте robots.txt с sitemap.xml, canonical и meta robots.
- После правок проверьте индексацию в Яндекс.Вебмастере и Google Search Console.
Связанные проверки
Что проверить вместе с robots.txt
Один robots.txt не показывает всю картину индексации. Его нужно смотреть вместе с sitemap.xml, canonical, noindex, статусами ответа и реальными страницами входа из поиска.
FAQ
Вопросы про проверку robots.txt
Что проверяет robots.txt checker?
Инструмент проверяет доступность robots.txt, HTTP-статус, User-agent, Disallow, Allow, Sitemap, общий запрет обхода сайта и потенциально рискованные запреты важных разделов.
Опасен ли Disallow: / в robots.txt?
Да, если он находится в блоке User-agent: * на рабочем сайте. Такая директива может закрыть сайт от обхода поисковыми роботами и помешать индексации важных страниц.
Нужно ли указывать Sitemap в robots.txt?
Это не единственный способ сообщить карту сайта поисковикам, но директива Sitemap в robots.txt помогает роботам быстрее найти актуальные XML-карты.
Можно ли закрывать параметры и фильтры через robots.txt?
Иногда можно, но это нужно делать осторожно. Если закрыть важные категории, товары или страницы услуг, поисковые роботы могут перестать обходить посадочные, которые должны приносить трафик.
Чем robots.txt отличается от noindex?
Robots.txt управляет обходом URL роботами, а noindex управляет индексацией страницы. Если страница закрыта в robots.txt, робот может не увидеть meta noindex внутри HTML.
Когда нужно проверять robots.txt?
Robots.txt стоит проверять после редизайна, переноса CMS, запуска нового сайта, изменения фильтров, правок разработчика, падения индексации или перед стартом SEO-продвижения.
Как проверить robots.txt на ошибки онлайн?
Укажите домен в robots.txt checker — инструмент бесплатно найдёт файл, разберёт правила по User-agent и подсветит опасные места: случайный Disallow: /, закрытые CSS и JS, отсутствие строки Sitemap. Это первое, что стоит смотреть при проблемах с индексацией.