ИИ-боты на вашем сайте: пускать или блокировать? Личный опыт и цифры

Современные пользователи всё чаще получают информацию через ИИ-чат-ботов, которые сами обходят сайты, выжимают суть и выдают готовый ответ. Для владельцев сайтов это дилемма: блокировать таких ботов, теряя потенциальный трафик, или разрешить доступ, надеясь на конверсию.

Автор провёл собственное исследование и делится опытом: какие боты приносят реальную пользу, а какие только съедают ресурсы. В материале — конкретные цифры, примеры настройки и рекомендации, как не прогадать с выбором стратегии.

Если вы управляете сайтом и замечаете странных посетителей с User-Agent вроде GPTBot или Claude-Web, эта статья поможет решить — пускать их или нет.