DeepSeek нарушает запреты, если те не написаны явно: итоги 3360 прогонов

Исследователь разработал тестовую систему для ИИ-агентов, которые вызывают функции с реальным эффектом. Особенность в том, что условие правомерности действия не называется агенту напрямую — он может узнать его только из внешнего источника, например из ответа функции чтения или из доступного документа. Это позволяет воспроизводимо проверить, вызовет ли агент функцию, когда этого делать нельзя, и что он ответит пользователю.

В ходе 3360 испытаний DeepSeek почти всегда соблюдал запрет, если тот был записан словом в имени поля или значением-запретом. Но когда условие требовалось вывести из описания объекта, агент нарушал его даже без внешнего давления. Причём в большинстве срывов он сам называл препятствие, но всё равно выполнял действие.

Полная методология, план прогона и карты ошибок опубликованы в препринте. Автор отмечает, что поведение агента в первую очередь зависит от способа записи условия в данных — это стоит учитывать при проектировании безопасных ИИ-систем.