Короткое определение
Noindex - это директива в meta robots или HTTP-заголовке X-Robots-Tag, которая просит поисковую систему не включать страницу в индекс или удалить ее после повторного обхода.
Как работает noindex
Поисковик должен обойти страницу, увидеть директиву noindex и обработать ее. После этого страница не должна показываться как обычный индексируемый результат. Поэтому важный нюанс: если одновременно закрыть URL в robots.txt, робот может не попасть на страницу и не увидеть noindex.
Noindex не удаляет страницу мгновенно. Скорость зависит от того, как часто робот обходит URL, насколько страница важна для сайта и есть ли на нее внутренние или внешние ссылки. Для массовых шаблонов эффект может появляться постепенно, особенно на крупных сайтах.
Когда noindex полезен
Когда noindex лучше не ставить
Noindex нельзя ставить на страницы, которые должны приносить поисковый трафик: услуги, категории, карточки, статьи, региональные посадочные, справочник и коммерческие фильтры со спросом. Если страница слабая, но имеет отдельный интент, чаще ее нужно доработать, а не закрыть.
Опасный сценарий - массовая директива на уровне шаблона. Например, разработчик закрывает от индексации все страницы фильтров, но среди них есть SEO-посадочные с частотным спросом. Или после релиза noindex остается на всем разделе услуг. Такие ошибки могут стоить трафика быстрее, чем слабый текст или неидеальный title.
Noindex, robots.txt и canonical - разные инструменты
Noindex просит не держать страницу в индексе. Robots.txt управляет обходом и может помешать роботу увидеть noindex. Canonical указывает предпочтительную версию среди дублей, но не является жестким запретом индексации. Редирект переносит пользователя и робота на другой URL.
Если страница окончательно переехала, нужен редирект. Если это дубль с полезной основной версией, может подойти canonical. Если страница доступна пользователю, но не должна участвовать в поиске, подходит noindex. Если нужно сэкономить обход на техническом мусоре, иногда используют robots.txt, но с пониманием последствий.
Пример
У сайта услуг есть страница `/thanks/`, которая открывается после отправки формы. Она не должна ранжироваться, не несет самостоятельного ответа и может содержать служебный текст. Для нее noindex уместен. Но страница `/seo-audit/` должна приносить заявки, поэтому noindex на ней будет критической ошибкой.
В интернет-магазине фильтр "кроссовки Nike" может быть ценной посадочной страницей, если есть спрос, уникальный ассортимент, Title, H1, текст и внутренняя перелинковка. Закрывать такой URL noindex только потому, что это фильтр, неправильно. Сначала нужно понять интент и бизнес-ценность страницы.
Частые ошибки noindex
- оставить noindex на сайте после разработки или тестового релиза;
- массово закрыть важные услуги, категории, карточки или статьи через шаблон;
- сочетать noindex с блокировкой в robots.txt, из-за чего робот не видит директиву;
- использовать noindex вместо исправления дублей, canonical и структуры сайта;
- закрывать слабую страницу, хотя у нее есть отдельный поисковый интент и ее нужно доработать;
- оставлять noindex-страницы в sitemap.xml;
- не проверять индексируемость после миграции, смены CMS и обновления шаблонов.
Чек-лист проверки noindex
- Проверьте, какие страницы и шаблоны содержат meta robots noindex или X-Robots-Tag.
- Убедитесь, что noindex не стоит на важных коммерческих и информационных URL.
- Не блокируйте noindex-страницы в robots.txt без отдельной причины.
- Удалите noindex-URL из sitemap.xml, если они не должны индексироваться.
- Разделите дубли, слабые страницы и отдельные интенты: не закрывайте то, что можно усилить.
- После правок проверьте индексацию в Яндекс Вебмастере, Google Search Console и SEO-аудите.
- Фиксируйте дату изменения, чтобы понимать, когда ждать переобхода и результата.
FAQ
Что такое noindex простыми словами?
Это директива, которая сообщает поисковой системе, что страницу не нужно держать в индексе и показывать как обычный поисковый результат.
Когда noindex полезен?
Для служебных, тестовых, приватных, дублевых или слабых страниц, которые не должны получать органический трафик и не являются самостоятельными SEO-посадочными.
Можно ли закрыть noindex страницу в robots.txt?
Обычно это плохая идея: если страница заблокирована в robots.txt, робот может не обойти ее и не увидеть директиву noindex.
Чем noindex отличается от canonical?
Noindex просит не индексировать страницу. Canonical указывает предпочтительную версию среди дублей и близких страниц, но не является прямым запретом индексации.
Что почитать дальше?
Посмотрите справки что такое robots.txt, что такое canonical и что такое индексация сайта.