Ваш сайт невидим для ChatGPT и Claude? Скорее всего, проблема в robots.txt

Типичная ситуация: сайт в топе Google, но ChatGPT о нём не знает. Причина — в robots.txt висит Disallow: / для всех, кроме Googlebot и YandexBot. GPTBot, ClaudeBot и PerplexityBot получают 403 на первом же запросе, и сайт становится невидимым для трёх из четырёх крупных AI-поисковиков. При этом в Search Console и Вебмастере всё выглядит зелёным — проверка индексации не показывает проблему.

AI-краулеры и обычные поисковые боты — это две разные аудитории. Вторая почти никогда не попадает в стандартный SEO-чеклист. Чтобы контент отображался в ответах моделей, нужно явно разрешить доступ для user-agent'ов GPTBot, ClaudeBot, PerplexityBot и других. Иначе даже отличная поисковая выдача не поможет — ИИ просто не увидит страницу.

Автор советует заглянуть в логи сервера и проверить, какие боты получают ошибки. Если там есть запреты для AI-краулеров — добавляйте их в белый список robots.txt. Это простая правка, которая может кардинально изменить видимость сайта в ИИ-ответах.