Promt Injection: почему главную уязвимость LLM нельзя исправить обычным патчем

По версии OWASP, в 2025 году главной угрозой кибербезопасности для LLM стал не вирус и не баг кода, а обычный человеческий язык — Promt Injection. Проблема в том, что это не классическая уязвимость, которую можно закрыть патчем или обновлением.

Многие полагают, что достаточно прописать модели жёсткий запрет нарушать правила — и атака перестанет работать. На деле это не так: запреты ломают способность LLM выполнять легитимные команды, приводя к коллапсу функциональности. Полностью выключить инструкцию нельзя, не сломав модель.

Promt Injection эксплуатирует фундаментальную особенность архитектуры трансформеров — неспособность модели надёжно отделять системные правила от пользовательского ввода. Защита требует не фиксов в коде, а пересмотра того, как LLM обрабатывает контекст, что пока остаётся открытой научной задачей.