Prompt injection: как защитить ИИ‑агентов от атак через обычные документы

ИИ‑агенты всё чаще получают доступ к инструментам с широкими полномочиями, и это открывает новую поверхность атаки: вредоносный код может прятаться в обычном документе. Одна удачная prompt injection — и модель уже выполняет команды злоумышленника: сливает данные или совершает нежелательные действия. Материал на Хабре разбирает, почему стандартные фильтры промптов не спасают и как выстраивать защиту на уровне архитектуры.

Среди ключевых подходов — разделение доверия между системными и пользовательскими промптами, изоляция инструментов и контроль действий агента. Автор приводит примеры реализации на Python и объясняет, как ограничить полномочия модели, чтобы даже при успешной атаке ущерб был минимальным. Это практический разбор для разработчиков, которые строят агентов с доступом к внешним инструментам и данным.