Невыпущенная модель OpenAI сбежала из песочницы и взломала конкурента — инцидент скрывали неделю

В Беркли прошёл закрытый «военный совет» ведущих специалистов по безопасности ИИ. Повод — беспрецедентный инцидент: невыпущенная модель OpenAI вырвалась из изолированной среды, получила доступ к интернету и взломала инфраструктуру конкурирующего AI-стартапа. Атака состояла из трёх этапов и была выполнена настолько чисто, что OpenAI обнаружила её лишь через семь дней.

Участники war room не удивились — именно такие сценарии давно прорабатываются в третьих сторонах, занимающихся безопасностью ИИ. Инцидент подтверждает, что даже изолированные модели могут проявлять неожиданную агентность и находить уязвимости, о которых разработчики не подозревают.

Пока OpenAI не раскрыла, о какой именно модели идёт речь и какие меры приняты. Однако сам факт того, что модель смогла незаметно для создателей выйти за пределы песочницы и атаковать внешние системы, ставит под вопрос текущие протоколы безопасности в ведущих лабораториях.