Методология
Выборка: 7 публичных российских сайтов разных типов на одном VPS — сайт SEO-услуг с блогом (~350 страниц), событийный агрегатор (~5 000 страниц), travel-агрегатор жилья, база знаний по автоматизации, лендинг IT-услуг, сайт услуг перевода, оптовый интернет-магазин.
Период: 4–14 июля 2026 года, ~11 суток — вся доступная глубина ротации логов.
Инструменты: полные access-логи nginx, идентификация по User-Agent 16 известных AI- и поисковых ботов (OpenAI, Anthropic, Perplexity, Microsoft, Apple, Amazon, Meta, Common Crawl, ByteDance, DuckDuckGo, YandexAdditional). Классы ботов — search, user retrieval, training — по официальной документации вендоров (ссылки в конце).
Критерии чистоты: собственные тестовые запросы владельца с подменой User-Agent исключены из данных; служебные хосты не учитывались. Верификация по IP-диапазонам не проводилась — см. ограничения.
Методология проекта описана на странице методологии ROI SEO.
Сводная таблица: кто пришёл и зачем
Главные выводы
- AI-обход рунета — уже норма, не будущее. На каждом из 7 сайтов — от лендинга до агрегатора — есть боты OpenAI. Вопрос «готовиться ли к AI-поиску» закрыт данными: он уже пришёл на ваш сайт.
- Пользователи ChatGPT реально открывают российские сайты. 371 обращение ChatGPT-User за 11 суток на 5 сайтах — это живые люди, получившие сайт в ответе. У сайта SEO-услуг ChatGPT-User оказался активнее, чем GPTBot и OAI-SearchBot вместе взятые.
- Bing — обязательная часть AI-стратегии. На bingbot пришлось 53% всех обращений ботов в выборке, а его индекс питает ChatGPT Search и Copilot. Сайт без нормальной индексации в Bing невидим для значительной части AI-ответов.
- Anthropic пока «читает, но не ищет». ClaudeBot собирает данные для обучения, но поисковая инфраструктура Claude в рунете не замечена — ни одного захода Claude-SearchBot/Claude-User.
- Perplexity в рунете почти нет. 47 обращений на 7 сайтов за 11 суток — на 2–3 порядка меньше OpenAI. Ждать из него трафика российским сайтам рано.
- Масштаб обхода зависит от типа сайта. Контентные сайты и агрегаторы получают тысячи AI-обращений, лендинги — единицы: у событийного агрегатора 12 222 обращения, у оптового магазина на поддомене без контента — 20.
Паттерны поведения, которые стоит знать
Что делать владельцу сайта
- Проверить логи: получают ли AI-боты 200, а не 403/429 от анти-бот защиты или WAF.
- Держать robots.txt всегда доступным — его опрашивают чаще, чем контент.
- Отдавать основной контент серверным HTML: ChatGPT-User не исполняет тяжёлый JavaScript.
- Подключить Bing Webmaster Tools и следить за покрытием индекса Bing.
- Решить осознанно, пускать ли training-ботов (GPTBot, ClaudeBot): для малых брендов знание модели о вас обычно ценнее рисков.
- Считать переходы: ChatGPT помечает часть переходов utm_source=chatgpt.com, остальное видно по referer.
Ограничения исследования
Выборка — 7 сайтов одного владельца на одном VPS в РФ; она разнообразна по типам, но мала и не репрезентативна для всего рунета. Период — 11 суток, сезонные колебания не охвачены. Идентификация ботов выполнена по User-Agent без сверки с официальными IP-диапазонами, поэтому отдельные обращения могут быть подделкой UA; для массовых выводов (OpenAI на 7/7, объёмы bingbot) риск искажения низкий, для единичных обращений (Meta, CCBot) — заметный. Выводы о «нулевом» присутствии относятся только к данной выборке и периоду.
Открытый датасет
Агрегированные данные — сайт × бот × вендор × класс, запросы, коды ответов, обращения к robots.txt, активные дни — опубликованы в CSV: data.csv (версия 1.0, лицензия CC BY 4.0, период 2026-07-04 — 2026-07-14). При использовании укажите источник: ROI SEO, roiseo.ru.
English abstract. Server-log study of AI crawler activity across 7 Russian websites of different types over 11 days in July 2026 (16,287 requests from 16 known AI/search bots). OpenAI bots reached 100% of sites; real ChatGPT users (ChatGPT-User) fetched pages on 5 of 7 sites; Anthropic ran training crawls only (no Claude search bots observed); Perplexity was nearly absent; bingbot was the most active crawler, feeding ChatGPT Search and Copilot. Open dataset: CSV, CC BY 4.0.
Вопросы и ответы
Какие боты OpenAI заходят на сайты и чем они отличаются?
У OpenAI три бота: OAI-SearchBot индексирует сайт для поиска ChatGPT, ChatGPT-User открывает страницы по живому запросу пользователя в диалоге, GPTBot собирает данные для обучения моделей. В нашей выборке GPTBot и OAI-SearchBot пришли на все 7 сайтов, ChatGPT-User — на 5 из 7.
Нужно ли пускать GPTBot, если он используется для обучения моделей?
Это бизнес-решение. Для малого и молодого сайта знание бренда внутри моделей обычно ценнее гипотетических рисков, поэтому мы GPTBot не блокируем. Блокировка GPTBot не влияет на поиск ChatGPT — за него отвечает отдельный OAI-SearchBot.
Почему Claude почти не приходит на российские сайты?
В выборке был только обучающий краулер ClaudeBot (565 обращений на 4 сайтах), а поисковый Claude-SearchBot и пользовательский Claude-User не зафиксированы ни разу. Поиск Claude пока слабо покрывает рунет, поэтому оптимизация под него сводится к общей доступности контента и внешним упоминаниям.
Как проверить AI-ботов в логах своего сайта?
Выполните на сервере: zcat -f /var/log/nginx/site.access.log* | grep -cE "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|PerplexityBot|Amazonbot|Applebot|bingbot" — и отдельно по каждому имени. Важно смотреть и коды ответов: боты должны получать 200, а не 403 или 429.
Что сделать, чтобы сайт открывали из ChatGPT?
Минимум: отдавать контент в HTML без JavaScript-рендеринга, разрешить OAI-SearchBot и ChatGPT-User в robots.txt, держать быстрые ответы сервера, иметь страницы с прямыми ответами на вопросы и попасть в индекс Bing — его использует поиск ChatGPT. Проверить готовность можно инструментом AI-ready checker.
Следующий шаг
Проверьте, видят ли AI-боты ваш сайт
Бесплатный инструмент проверит robots.txt, llms.txt, разметку и доступность контента — то, что видят ChatGPT, Perplexity и Алиса. Настроить всё под ключ можно в рамках SEO-аудита.