Четыре лидера ИИ приняли единый стандарт отказа от сбора данных — один robots.txt для всех

OpenAI, Google, Microsoft и Anthropic объявили о поддержке нового стандарта, который позволит издателям одним сигналом запретить использование своего контента для обучения ИИ. Раньше для этого приходилось настраивать правила отдельно для каждой компании.

Новый механизм, получивший название «policy token», предложил Кевин Келли, технический лидер по стандартам из Anthropic, в рамках рабочей группы IETF. Сигнал будет размещаться в файле robots.txt — том самом, который уже давно регулирует доступ поисковых роботов к сайтам.

По данным Search Engine Roundtable, поддержка единого стандарта означает, что предпочтения издателя будут автоматически применяться ко всем участвующим AI-компаниям. Это упрощает контроль над данными и делает процесс более прозрачным.