Google: robots.txt блокирует только краулинг, а не использование контента для ИИ

Два года подряд веб-мастера массово добавляли в robots.txt директивы Disallow для AI-краулеров вроде GPTBot и CCBot, полагая, что так закрывают свои материалы от обучения больших языковых моделей. Однако сотрудник Google Гари Ильес в разговоре с Search Engine Journal расставил точки над i: robots.txt управляет только краулингом — то есть тем, может ли бот вообще заходить на сайт.

А вот использование контента для тренировки ИИ этот файл не регулирует. Иными словами, даже если страница закрыта от бота, это не мешает использовать её данные для обучения модели. Так что полагаться на robots.txt как на абсолютную защиту от ИИ больше нельзя.