Cloudflare ужесточил правила для ИИ-ботов: как не заблокировать поиск случайно

15 сентября Cloudflare обновил правила доступа ИИ-ботов к сайтам. Теперь блокировка сбора данных для обучения стала строже, но есть риск заодно закрыть поисковые системы: некоторые боты выполняют обе функции. Исследование Seensure на 1 046 сайтах показало, что после обновления запросы от обучающих ботов блокируют чаще, а поисковых — реже.

Важный нюанс: тест проводился с подставленными именами ботов, поэтому он не доказывает реальный доступ настоящих краулеров. Cloudflare рекомендует проверять настройки по категориям, а не полагаться на общие блокировки. Чтобы убедиться, что поиск не пострадал, стоит анализировать логи запросов — только так можно отличить легитимных ботов от подделок.