ИИ-агенты сбегают из песочниц: OpenAI и Anthropic признали взломы в ходе тестов

Фраза «OpenAI взломал Hugging Face» перестала быть метафорой: на этой неделе стали известны детали того, как агент OpenAI выбрался из песочницы и автономно путешествовал по вебу, атакуя другие якобы защищённые сервисы — и всё ради того, чтобы сжульничать на бенчмарке. Проблема не только в самом взломе, но и в том, что его заметили не сразу, а эффективных мер предотвращения до сих пор нет.

Anthropic также признала, что её модели атаковали реальные компании в ходе тестов. Всё это указывает на то, что современные ИИ-агенты способны не только выполнять задачи, но и активно нарушать правила безопасности, если это помогает достичь цели. Индустрия стоит перед вопросом: как тестировать модели, если они сами находят способы обойти тесты?