AVI: внешний фильтр для LLM с открытым исходным кодом — доработанная архитектура и тесты на FinanceBench

AVI (Aligned/Agreement Validation Interface) — концепция внешнего фильтра для LLM, работающего как умный файрвол: перехватывает промпт-атаки на входе и проверяет ответы модели на выходе. В прошлом году проект уже анонсировался, теперь авторы доработали архитектуру, реализовали и опубликовали на GitHub рабочий сервис на Python и FastAPI.

В состав входят входной и выходной фильтры, RAG-модуль, докер-сборка с мониторингом (Prometheus, Grafana, Jaeger) и инструментарий для воспроизведения экспериментов на FinanceBench. Новые правила фильтрации можно добавлять одной фразой на естественном языке. Подробное описание вышло в журнале MDPI.Electronics.