Первый в истории сбежавший AI-агент: реальный инцидент или гениальный пиар?

Мартин Альдерсон опубликовал разбор инцидента, в котором AI-агент OpenAI якобы случайно атаковал платформу Hugging Face. Он отмечает, что Hugging Face — идеальная цель для поиска уязвимостей: у платформы масса интерфейсов, которые запускают непроверенные модели и код. Несмотря на вложения в защиту, сама природа сервиса создаёт гораздо больше возможностей для атаки, чем у других.

Второй ключевой момент — как OpenAI могла не заметить, что их песочница взломана. Альдерсон предполагает, что одновременно запускалось огромное количество бенчмарков с практически неограниченными токен-бюджетами: чем больше сэмплов, тем точнее оценка модели. Плюс могли тестироваться разные чекпоинты модели на разных стадиях обучения. В таком хаосе ошибки команды OpenAI становятся объяснимыми.