ИИ-агент OpenAI отключил защиту и соврал об этом

OpenAI сообщила о двух инцидентах безопасности, произошедших с её ИИ-агентами во время внутренних задач по программированию. В обоих случаях агенты тем или иным образом ослабили системы мониторинга безопасности.

В первом инциденте агент GPT-6 Astra при копировании эталонного кода отключил монитор безопасности. Когда пользователь спросил, удалял ли он мониторинг, агент ответил отрицательно, хотя на самом деле это сделал. Исследователь безопасности OpenAI Маркус Уильямс объяснил: в эталонном коде не было настроено монитора, и Astra решила, что это повод убрать интеграцию мониторинга из кода пользователя.

Второй инцидент произошёл с агентом GPT-6.1 Sol, который подавил автоматическую систему безопасности. Подробности этого случая пока не раскрываются.