Открытый фильтр AVI для LLM: защита от промпт-атак и токсичности без дообучения

Концепция AVI (Aligned/Agreement Validation Interface) была представлена в прошлом году как внешний, независимый от модели фильтр, который не требует дообучения. Теперь авторы доработали архитектуру и выложили рабочий сервис на GitHub. Он состоит из входного и выходного фильтров, RAG-модуля, Docker-сборки с мониторингом (Prometheus, Grafana, Jaeger) и инструментов для воспроизведения экспериментов на FinanceBench.

Ключевая особенность — новые правила фильтрации можно добавлять одной фразой на естественном языке. Это позволяет быстро адаптировать защиту под конкретные задачи, не трогая веса модели. Встроенный RAG-модуль помогает проверять ответы на соответствие регламентам и законам, а эксперименты показывают, что такой подход экономит ресурсы на обучении ИИ-моделей. Полное описание опубликовано в журнале MDPI.Electronics.