Контроль ИИ-агентов: почему защита модели — не защита, и что делать

Промпт можно инспектировать, но действие нужно останавливать до исполнения — такова ключевая мысль статьи о runtime-контроле ИИ-агентов. Авторы объясняют, что защита модели перестала быть достаточным контуром: агенты уже вызывают инструменты, ходят в MCP, обращаются к платёжным API и уносят ключи с рабочих станций.

В предлагаемой модели единица контроля — не модель, а действие. Контур перехватывает вызов, компилирует политику и выносит вердикт до того, как действие будет исполнено. При этом учитывается целый контур сущностей: скиллы и расширения, MCP-серверы и их инструменты, модели, машины и эндпоинты, сессии, tool-call, сетевые обращения и граф межагентного взаимодействия.

Отдельно авторы разбирают «теневой» ИИ (Shadow AI): если сотрудник с ноутбука ушёл за пределы контролируемого перечня моделей и сходил во внешнюю LLM, это тоже событие контура. Чтобы такое контролировать, нужно видеть, что происходит на рабочей станции, — без агента на хосте остаётся только то, что проходит через шлюз.