Короткое определение
Мета-тег robots — тег в
страницы (или HTTP-заголовок X-Robots-Tag), который сообщает поисковику, индексировать ли страницу и переходить ли по её ссылкам.Основные директивы мета-тега robots
Частая комбинация для служебных страниц — noindex, follow.
Чем мета-тег robots отличается от robots.txt
robots.txt управляет обходом (можно ли роботу заходить), а мета-тег robots — индексацией (попадёт ли страница в поиск). Важный нюанс: если страница закрыта в robots.txt, робот не увидит noindex в коде. Чтобы убрать страницу из индекса, её нужно оставить открытой для обхода и поставить noindex.
Как применять мета-тег robots
- Добавьте тег в
<head>нужной страницы. - Для не-HTML файлов используйте заголовок X-Robots-Tag.
- Не закрывайте при этом страницу в robots.txt, иначе директива не сработает.
Частые ошибки
- noindex в коде + запрет в robots.txt — страница остаётся в индексе.
- Случайный noindex на важных страницах после переноса с тестового сайта.
- Путаница index/noindex и follow/nofollow.
FAQ
Что такое мета-тег robots простыми словами?
Это инструкция в коде страницы, которая говорит поисковику, индексировать ли её и переходить ли по её ссылкам. Действует на уровне конкретной страницы.
Чем мета-тег robots отличается от robots.txt?
robots.txt управляет обходом сайта, а мета-тег robots — индексацией страницы. Закрытая в robots.txt страница не покажет роботу свой noindex.
Как убрать страницу из индекса?
Оставьте её открытой для обхода и добавьте мета-тег robots noindex. Закрытие в robots.txt для удаления из индекса не подходит.
Что значит noindex, follow?
Страницу не индексировать, но по её ссылкам переходить и передавать вес. Частый вариант для служебных и фильтрационных страниц.