Почему LLM игнорирует системный промпт: история диалога оказалась важнее инструкций

Знакомая ситуация: вы пишете в системном промпте «Ни в коем случае не делай X», добавляете капслок и примеры, а модель всё равно делает X. Команда разработчиков голосового ассистента решила докопаться до причины и провела серию экспериментов: перебирали боевые запросы, меняли по одному фактору — температуру, длину контекста, формулировки правил.

Оказалось, что системный промпт тут ни при чём. Модель игнорировала инструкции, потому что история диалога — предыдущие сообщения пользователя и ассистента — перевешивала любые явные запреты. Даже если правило было написано жирным шрифтом и с восклицательными знаками, модель следовала паттерну, сложившемуся в ходе беседы.

Вывод для всех, кто строит чат-ботов, агентов или ассистентов: недостаточно просто усилить системный промпт. Нужно контролировать историю диалога — чистить её, переписывать релевантные части или явно указывать модели, на какой части контекста фокусироваться. Иначе никакие «ВАЖНО» не помогут.