Как защитить сайт от ботов и парсинга без вреда для SEO

Как понять, что проблема в автоматическом трафике

Скрипты могут создавать нагрузку, заполнять формы, собирать цены, копировать контент, перебирать URL и засорять аналитику. Но не каждый всплеск трафика опасен. Сначала нужно отделить поисковые системы, мониторинги и реальные визиты от вредной активности.

• резко выросла нагрузка на сервер без роста заявок;
• появились однотипные мусорные формы;
• в логах много запросов с одного IP или диапазона;
• часто дергаются фильтры, поиск, корзина или API;
• в аналитике появились странные источники и города;
• много 404 по несуществующим адресам.

Если сайт еще и медленно открывается, проверьте статью почему сайт медленно грузится: иногда боты только усиливают уже слабую техническую базу.

Шаг 1. Смотреть логи, а не только Метрику

Аналитика показывает часть картины. Серверные логи точнее: там видны IP, User-Agent, URL, коды ответа, частота запросов и нагрузка по времени.

Без логов легко заблокировать лишнее. Например, агрессивная защита может начать отдавать 403 поисковой системе, и тогда проблема станет SEO-критичной.

Шаг 2. Защитить формы и заявки

Формы чаще всего страдают от простого спама. Начните с мягких методов, которые не мешают обычному пользователю.

1. Добавьте скрытое поле-ловушку для простых скриптов.
2. Ограничьте частоту отправки с одного IP.
3. Проверяйте обязательные поля и формат контактов на сервере.
4. Используйте CAPTCHA только там, где спам реально мешает.
5. Логируйте источник, URL и время отправки заявки.

Не ставьте тяжелую CAPTCHA на каждый шаг без причины. Она может снизить конверсию, особенно на мобильных.

Шаг 3. Ограничить частоту запросов

Rate limit помогает, когда один адрес или группа адресов слишком часто обращается к дорогим для сервера URL: поиску, фильтрам, корзине, формам, API, страницам с тяжелыми запросами.

Ограничение должно быть точным. Не нужно блокировать весь сайт, если проблема только в одном endpoint. Лучше защищать дорогие сценарии и оставлять обычный просмотр страниц доступным.

• отдельные лимиты для форм, поиска и API;
• разные правила для авторизованных и обычных пользователей;
• исключения для известных поисковых систем после проверки;
• логирование срабатываний защиты;
• алерт при росте 403 и 5xx.

Шаг 4. Снизить массовый парсинг контента

Открытую HTML-страницу нельзя полностью защитить от копирования: если пользователь видит текст и цены, их можно собрать. Задача - снизить массовость, зафиксировать авторство и не сломать доступность для поиска.

Robots.txt не защищает от недобросовестного сбора данных. Он нужен для управления обходом и краулинговым бюджетом. Подробнее: robots.txt и sitemap.xml.

Что нельзя ломать ради защиты

Главный риск - заблокировать поисковые системы или ресурсы, которые нужны для рендеринга. Если поисковик видит 403, не получает CSS/JS или упирается в CAPTCHA, страницы могут хуже индексироваться.

1. Не закрывайте весь сайт в robots.txt из-за парсинга.
2. Не ставьте CAPTCHA на индексируемые страницы.
3. Не блокируйте CSS, JS и изображения, нужные для рендера.
4. Не доверяйте User-Agent без проверки IP и поведения.
5. Не оценивайте защиту без контроля 403, 5xx и индексации.

После включения защиты проверьте Вебмастер, логи и важные URL. Если страницы пропали из поиска, используйте чек-лист почему сайт не виден в поиске.

Чек-лист защиты от ботов и парсинга

1. Собраны серверные логи по IP, URL, User-Agent и кодам ответа.
2. Отделены поисковые системы, мониторинги и реальные пользователи.
3. Защищены формы: лимиты, валидация, скрытое поле, логирование.
4. Настроены точные лимиты для поиска, фильтров, API и корзины.
5. WAF или firewall не блокирует важные страницы для поиска.
6. CSS, JS и изображения доступны роботам.
7. CAPTCHA не мешает индексируемому контенту.
8. Robots.txt используется для обхода, а не как защита от атак.
9. Есть алерты по росту 403, 404, 5xx и нагрузке.
10. После изменений проверены Вебмастер, sitemap и важные URL.

Частые вопросы

Как понять, что сайт атакуют боты?

Смотрите логи, частоту запросов, мусорные формы, повторяющиеся IP, рост 404, нагрузку на сервер и странные источники в аналитике.

Можно ли полностью защитить сайт от парсинга?

Полностью - нет, если страница открыта пользователю. Можно снизить массовый сбор, защитить формы, ограничить частоту и фиксировать авторство.

Что опасно для SEO?

Опасно заблокировать поисковых роботов, отдать им 403, закрыть CSS/JS или поставить CAPTCHA на страницы, которые должны индексироваться.

Помогает ли robots.txt от парсинга?

Нет как защита. Это файл правил для добросовестных роботов, а не технический барьер.