Cloudflare ставит ИИ-компаниям ультиматум: разделите краулеры или потеряете доступ к сайтам издателей

Cloudflare вводит жёсткую политику: ИИ-компании должны до 15 сентября разделить свои веб-краулеры на две категории — одни для обычного поиска, другие для обучения моделей и работы агентов. Если этого не произойдёт, Cloudflare начнёт блокировать такие краулеры по умолчанию на сайтах издателей, использующих его сервисы.

Новое правило заставляет разработчиков ИИ чётко маркировать, какие запросы идут на сбор контента для тренировки нейросетей, а какие — для обычного индексирования. Издатели давно жалуются, что ИИ-компании забирают их материалы без разрешения и оплаты, и Cloudflare даёт им инструмент для защиты.

Это серьёзный шаг в битве за контроль над контентом в эпоху генеративного ИИ. Если политика наберёт обороты, она может заставить OpenAI, Google, Anthropic и других пересмотреть свои подходы к сбору данных, а издатели получат рычаг для переговоров о лицензировании.