Короткое определение
Индексация сайта - это процесс, при котором поисковая система обнаруживает URL, обходит страницу, анализирует контент и технические сигналы, после чего добавляет подходящую версию страницы в индекс.
Как страница попадает в индекс
Сначала поисковик должен узнать о URL. Он может найти страницу через внутреннюю ссылку, sitemap.xml, внешнюю ссылку, старый индекс или ручную отправку в панели вебмастера. Затем робот запрашивает страницу, получает статус ответа, HTML, заголовки, ресурсы и сигналы вроде canonical, noindex и robots.
Индексация не равна позициям
Страница может быть в индексе, но не получать трафик. Это значит, что поисковик знает URL, но не считает его достаточно сильным для целевых запросов. Причина может быть в слабом интенте, неудачной структуре, тонком контенте, отсутствии коммерческих факторов, плохом сниппете или сильной конкуренции.
Обратная ситуация тоже возможна: страница полезная, но не индексируется из-за технического запрета. Поэтому в аудите важно разделять две задачи: сначала выяснить, может ли страница попасть в индекс, затем понять, почему она ранжируется ниже конкурентов.
Как проверить индексацию
Надежнее всего проверять индексирование не одним способом, а набором сигналов. Вебмастера показывают статус URL, причины исключения и дату обхода. Логи сервера показывают, приходил ли робот. Оператор `site:` дает быструю ориентировочную проверку, но не заменяет данные панелей и технического аудита.
Для важных страниц нужно смотреть: отдает ли URL код 200, открыт ли он для обхода, нет ли noindex, не указывает ли canonical на другой адрес, есть ли URL в sitemap, получает ли страница внутренние ссылки и содержит ли она самостоятельный полезный ответ.
Что мешает индексации
- страница закрыта в robots.txt или робот не может ее обойти;
- на URL стоит meta robots noindex или X-Robots-Tag noindex;
- canonical указывает на другую страницу, хотя URL должен ранжироваться сам;
- страница отдает редирект, 404, 500 или нестабильный ответ сервера;
- URL не имеет внутренних ссылок и плохо обнаруживается;
- контент слишком слабый, дублирующийся или не закрывает отдельный интент;
- важный контент появляется только после проблемного JavaScript-рендеринга;
- сайт генерирует много дублей, параметров и технических страниц, размывая обход.
Пример
У сайта есть страница услуги, она добавлена в sitemap, но в шаблоне после редизайна случайно остался `noindex`. Владелец видит, что URL существует и открывается в браузере, но поисковик постепенно исключает его из индекса. В этом случае проблема не в тексте и не в ссылках, а в технической директиве.
Другой пример: категория интернет-магазина открыта, но canonical указывает на общую категорию, а сама страница почти не получает внутренних ссылок. Поисковик может решить, что это не самостоятельная посадочная, и не показывать ее по нужному спросу.
Частые ошибки
- проверять индекс только оператором `site:` и делать окончательные выводы;
- добавлять URL в sitemap, но оставлять noindex или canonical на другую страницу;
- закрывать важные разделы в robots.txt после тестового релиза;
- создавать страницы без внутренних ссылок и ждать быстрой индексации;
- путать проблему индексации с проблемой низких позиций;
- не проверять шаблоны массово: категории, карточки, услуги, статьи и фильтры;
- оставлять в индексе мусорные URL, которые мешают обходу важных страниц.
Чек-лист проверки индексации
- Проверьте статус ответа: важная страница должна отдавать 200.
- Сверьте robots.txt, noindex, canonical, sitemap.xml и внутренние ссылки.
- Проверьте, что URL не является дублем и закрывает отдельный поисковый интент.
- Убедитесь, что страница доступна в мобильной версии и важный контент виден при рендеринге.
- Посмотрите статус URL в Яндекс Вебмастере и Google Search Console.
- Проверьте логи или краулинг, чтобы понять, обходит ли робот страницу.
- После правок зафиксируйте дату и повторно проверьте статус после переобхода.
FAQ
Что такое индексация сайта простыми словами?
Это процесс, при котором поисковая система находит страницу, обходит ее, анализирует содержимое и добавляет подходящую версию в свою базу для участия в поиске.
Индексация и ранжирование - одно и то же?
Нет. Индексация означает, что страница может участвовать в поиске. Ранжирование определяет, на какой позиции она будет показана по конкретному запросу.
Как проверить индексацию страницы?
Через Яндекс Вебмастер, Google Search Console, оператор `site:`, логи сервера, SEO-аудит и ручную проверку статуса URL.
Почему страница не индексируется?
Частые причины: robots.txt, noindex, неверный canonical, редиректы, ошибки ответа, дубли, слабый контент, отсутствие внутренних ссылок, проблемы рендеринга или низкая ценность страницы.
Что почитать дальше?
Посмотрите справки что такое robots.txt, что такое noindex и что такое краулинговый бюджет.