AI-краулери: які боти читають ваш сайт і як перевірити, що вони можуть

AI-краулер — це бот, який завантажує ваші сторінки, щоб AI-система могла їх прочитати: або щоб відповісти на питання користувача просто зараз, або щоб побудувати індекс, з якого відповідатиме пізніше. Якщо сайт блокує цих ботів, ніякий контент і жодна розмітка не мають значення: модель вас просто не бачить. Це найпоширеніша — і найлегше виправна — причина AI-невидимості, яку ми знаходимо в аудитах.

Краулери, які мають значення

User agent	Хто запускає	Що робить
GPTBot	OpenAI	Збирає сторінки для навчання моделей
OAI-SearchBot	OpenAI	Будує індекс для пошуку в ChatGPT
ChatGPT-User	OpenAI	Завантажує сторінку наживо, коли цього потребує питання користувача
ClaudeBot	Anthropic	Сканує для Claude
PerplexityBot	Perplexity	Індексує сторінки для відповідей Perplexity
Google-Extended	Google	Керує використанням вашого контенту в Gemini та AI-функціях
Bingbot	Microsoft	Живить Bing, Copilot — і частину пошуку ChatGPT
Amazonbot, meta-externalagent, cohere-ai	Amazon, Meta, Cohere	Краулери асистентів і моделей

Дві важливі відмінності. Перша: краулери навчання vs краулери відповідей. GPTBot збирає дані для майбутніх моделей, а ChatGPT-User і OAI-SearchBot впливають на те, чи можуть вас процитувати сьогодні. Блокувати перший — рішення про ваш контент; блокувати другий — це просто відмовитись від AI-пошуку. Друга: Google-Extended взагалі не краулер, а токен дозволу. Звичайний Googlebot сканує вас, як і раніше; токен лише каже, чи можна цей контент використовувати в Gemini та AI-функціях. Деталі — в документації краулерів Google і документації ботів OpenAI.

Як перевірити за 60 секунд

Відкрийте vashsait.com/robots.txt у браузері. Шукаєте дві речі:

1. Явні блокування. Будь-який рядок, що поєднує агента з таблиці вище і Disallow: /, означає: ця система закрита повністю.
2. Суцільне блокування. Група User-agent: * з Disallow: / блокує все, що не дозволено явно деінде — включно з кожним AI-краулером.

Ще перевірте мета-тег noindex на ключових сторінках (у коді сторінки знайдіть «noindex») і, якщо є доступ, заголовок X-Robots-Tag. Сторінка може ідеально скануватись і все одно бути виключеною будь-яким із них.

Три способи випадково заблокувати AI

Плагіни безпеки. Плагіни захисту й анти-скрапінгу для WordPress часто мають «блокувати AI-ботів» увімкненим за замовчуванням. Подається як захист, а на практиці — відмова від AI-пошуку.

Захист від ботів у CDN. У Cloudflare та подібних сервісів є перемикачі блокування AI-краулерів в один клік. Хтось вмикає їх із добрих міркувань — трафік, захист контенту — і ніхто не пов'язує це з маркетинговою метою бути в рекомендаціях ChatGPT.

Скопійований robots.txt. Шаблони кількарічної давнини блокують цілі списки агентів. Вони переходять із сайту на сайт довго після того, як усі забули навіщо.

Що ми радимо дозволяти

Майже для кожного бізнесу, чия мета — клієнти, відповідь така: без вагань дозволяйте краулери шару відповідей (OAI-SearchBot, ChatGPT-User, PerplexityBot, ClaudeBot, Bingbot, Google-Extended). Присутність у відповідях — саме те, що ви намагаєтесь купити всім іншим маркетингом.

Краулери навчання (GPTBot і компанія) — справді предмет вибору для видавців, чий контент і є продуктом. Для сервісного бізнесу їх блокування не дає нічого, але коштує майбутньої впізнаваності: моделі, які вивчили вашу назву під час навчання, можуть згадати вас навіть із вимкненим браузингом.

Мінімальний дозвільний robots.txt виглядає так:

User-agent: *
Allow: /

User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: Google-Extended
Allow: /

Sitemap: https://vashsait.com/sitemap.xml

Після зміни

Краулери перечитують robots.txt за власним графіком — зазвичай упродовж кількох днів. Щоб прискорити на боці Bing (який живить і пошук ChatGPT), надішліть свої URL через IndexNow. Далі перевірте в логах сервера чи CDN, що боти справді повертаються: якщо GPTBot і PerplexityBot почали з'являтись у логах доступу — двері справді відчинені.

FAQ

Чи зашкодить дозвіл AI-краулерів моєму SEO?

Ні. Це окремі системи від ранжувального сканування Googlebot. Дозвіл додає AI-видимість, не торкаючись ваших позицій.

Чи не перевантажать AI-боти сервер?

Для звичайного бізнес-сайту їхній трафік мізерний — кілька запитів на день. Великим видавцям може знадобитись crawl-delay; сайт із десяти сторінок цього навіть не помітить.

Як зрозуміти, що спрацювало?

Через пару тижнів пройдіть тест видимості на 5 хвилин і порівняйте. Доступ краулерів — крок 2 того тесту невипадково: без нього не працює нічого далі.