Инструменты
Промпт не гарантирует выполнения: 12.5% нарушений жестких правил у ИИ-консультанта
На сайте работает ИИ-консультант. В системный промпт капслоком и с объяснениями прописали два железных правила: не называть цены и не упоминать клиентов под NDA. Замерили соблюдение — правила нарушались в 12.5% диалогов.
Автор переписал логику: вместо надежды на промпт вынес проверки в код бэкенда. После этого нарушения прекратились полностью. Вывод: промпт — не контракт, валидацию критичных ограничений стоит делать на уровне кода.
Источник: habr.com