Почему страницы не индексируются: причины и порядок SEO-проверки

Почему проблема индексации бьет не только по трафику

Если важная страница не попала в индекс, она не участвует в поиске. Но на практике ущерб шире: бизнес теряет не только показы, а конкретные точки входа в воронку. Это особенно заметно на страницах услуг, категорий, карточек товаров и статьях, которые должны поддерживать money pages по НЧ-запросам.

Поэтому вопрос надо ставить не так: "почему не индексируется URL", а так: "какая группа страниц не индексируется, почему это произошло и насколько это мешает заявкам". Именно такой подход помогает отличать реальную проблему от шума в отчетах.

Какие технические причины встречаются чаще всего

Первый слой проверки всегда технический. Страница должна открываться с кодом 200, быть доступной для обхода, не иметь лишних редиректов, не блокироваться robots.txt или meta robots и не указывать canonical на другой URL без причины.

• страница возвращает не 200, а 301, 302, 404, 403 или 5xx;
• важный раздел закрыт через robots.txt или `noindex`;
• canonical указывает на другую страницу;
• страница отсутствует в XML-карте сайта или карта содержит мусорные URL;
• на шаблоне есть конфликт между HTML, JS и серверным ответом.

На сайтах услуг это часто всплывает после редизайна. На интернет-магазинах проблема обычно масштабнее: фильтры, параметры, сортировки и служебные страницы начинают плодить лишние адреса, а поисковик не понимает, что из этого стоит брать в индекс.

Слабая перелинковка и страницы-сироты

Страница может быть технически открыта, но все равно не индексироваться нормально, если на нее никто не ссылается. Для поискового робота это слабый сигнал о важности URL. Особенно часто так выпадают новые статьи, свежие посадочные и страницы, которые добавили в CMS, но не встроили в структуру сайта.

Если у страницы нет внутренних ссылок с уже сильных URL, нет понятного места в навигации и нет поддержки из тематических материалов, она часто застревает в серой зоне: робот ее видит, но не считает приоритетной. Поэтому внутренняя перелинковка - это не украшение, а часть технического SEO.

Когда проблема не в технике, а в качестве страницы

Поисковики не обязаны индексировать все, что открывается с кодом 200. Если страница слабая, слишком похожа на другие, не закрывает интент и не дает понятной пользы, она может не войти в индекс или выпадать из него после обхода. Это особенно часто видно на тонких карточках товаров, пустых категориях, страницах тегов и клонах услуг под одинаковый текст.

У коммерческой страницы должен быть смысл: понятный оффер, структура, FAQ, факторы доверия, внутренняя логика, связка с соседними кластерами. У статьи - конкретная задача, а не длинная вода. Если страница существует только ради ключа, шансы на стабильную индексацию ниже.

Дубли, canonical и конфликт сигналов

Очень частая причина - дублирующие версии одной и той же страницы. Это могут быть URL с параметрами, фильтрами, сортировками, разными слешами, http/https, `www` и без `www`, а также технические копии после миграции. В такой ситуации поисковик вынужден сам выбирать каноническую версию или игнорировать весь кластер.

Если на сайте уже замечены такие симптомы, полезно отдельно пройтись по теме дублей, canonical и фильтров. В магазинах это особенно критично: часть коммерческого спроса сидит в категориях и фильтрах, и здесь одно грубое правило может либо закрыть мусор, либо случайно убить полезные посадочные.

Порядок проверки без хаоса

1. Определить, какие страницы не индексируются и насколько они важны для бизнеса.
2. Проверить серверный ответ, редиректы, robots directives и canonical.
3. Сверить URL с XML-картой сайта и фактической навигацией.
4. Посмотреть, есть ли внутренние ссылки с релевантных страниц.
5. Оценить, не является ли страница дублем или слишком слабой по интенту.
6. Проверить шаблон на уровне группы страниц, а не одного URL.
7. После исправлений повторно пройтись по индексации и логике перелинковки.

Если проблема массовая, лучше не лечить вручную по одной странице, а проводить полноценный SEO-аудит сайта с приоритетами. Если проблема связана со структурой, canonical, метатегами и скоростью, то уже нужен блок технического SEO.

Ошибки, из-за которых команда теряет время

• судить об индексации по одной случайной странице, а не по паттерну;
• пушить URL в индекс без исправления первопричины;
• не учитывать перелинковку и считать проблему только технической;
• оставлять в sitemap дубли, параметры и технические страницы;
• делать новые посадочные без уникального интента и связки с соседними разделами.

Хорошая новость в том, что индексация почти всегда улучшается, когда на сайте становится меньше шума и больше ясности: меньше мусорных URL, больше логики в структуре, сильнее внутренние ссылки и понятнее роль каждой страницы.