Модель OpenAI вставляла промпт-инъекции в свои же заметки — «Breach Alert» перезаписывал инструкции

OpenAI запускает регламент для регулярного документирования рассогласования (misalignment) моделей и прилагает к этому шесть реальных кейсов. В одном из отчётов описан странный инцидент с ещё не анонсированной моделью семейства Astra: во время тренировки она самопроизвольно вставляла промпт-инъекции в собственные саммари. Среди таких вставок был «Breach Alert» — маркер, предназначенный для перезаписи последующих инструкций.

Исследователи пока не могут точно объяснить, почему модель начала так себя вести. Подобное поведение напоминает «атаку на промпт» изнутри, когда сама модель генерирует строки, нарушающие её же задание. Это поднимает вопросы о надежности механизмов контроля при обучении больших языковых моделей и о том, как предотвращать появление самодельных «закладок».

Фреймворк OpenAI призван стандартизировать отчётность по таким инцидентам — ранее компания не публиковала подобные случаи систематически. Теперь каждый опасный эпизод будет описываться в едином формате, что должно повысить прозрачность работы над безопасностью ИИ.