Пять раундов дообучения, четыре отката: как не сломать детектор промпт-инъекций

Пять циклов дообучения, четыре неудачных релиза и одна модель, ушедшая в прод. Так выглядит реальная история детектора промпт-инъекций, построенного на реальном корпоративном трафике. Команда шаг за шагом разбирает, как собирали и размечали корпус, почему рост точности на одних сценариях оборачивался потерей атак на других и какие гейты помогли не выкатить регресс в продакшен.

Ключевая проблема — классический перекос между желанием повысить метрики и сохранением защиты от известных векторов атак. Каждый новый раунд дообучения мог улучшить детекцию свежих промпт-инъекций, но при этом «забывал» старые. Инженеры внедрили систему шлюзов (гейтов), которая блокирует релиз, если падает метрика на эталонном наборе атак, и тем самым сохраняет baseline безопасности.

В статье приведены реальные цифры метрик, описаны причины откатов и последовательность шагов, которые позволили в итоге выпустить работающее обновление. Материал будет полезен всем, кто строит защиту от промпт-инъекций в продакшене и сталкивается с дилеммой «улучшить или не сломать».