Безопасность ИИ-агентов: Microsoft предлагает надзирателей, Habr — перепроектировать среду

Microsoft опубликовала пост, в котором предлагает относиться к ИИ-агентам как к инсайдерам без презумпции доверия и ввести агентов-надзирателей, проверяющих каждое действие до его совершения.

Автор Habr согласен с диагнозом, но сомневается в рецепте. Он видит корень проблемы в том, что агентам выдают избыточные права (overprivileged), потому что нет единой модели прав и разрешения разбросаны по системам. Вместо тотального надзора он предлагает проектировать среду так, чтобы права, данные и связи были описаны в одной модели — тогда агенту можно выдать ровно те права, которые нужны, и надзор почти не требуется.

Такой подход, по мнению автора, лечит причину, а не симптом. Он приводит примеры, как через такую среду прошли бы известные инциденты с агентами, и показывает, что детерминированные пробы его ядра подтверждают эффективность метода.