FINESSE-Bench обновился: новый тест по технализу и бутстрап-метрики для LLM в финансах

Лаборатория искусственного интеллекта «Финама» представила обновлённую версию своего бенчмарка FINESSE-Bench для оценки LLM в финансовом домене. Проект получил отдельную страницу и существенно изменился по объёму, качеству и строгости методологии.

Ключевые нововведения: добавлен новый набор данных по техническому анализу — CFTe-like Level 1, исправлены проблемные вопросы в блоке CFA-like Level 1, расширен пул тестируемых моделей. Внедрена бутстрап-оценка для более надёжного расчёта метрик и аккуратное агрегирование результатов по группам бенчмарков. Также отдельно проанализирована различающая способность и насыщение наборов вопросов.

Разработчики подчёркивают, что в финансах недостаточно проверять модель на нескольких популярных открытых QA-бенчмарках — сильные результаты на них часто не переносятся на прикладные задачи. FINESSE-Bench позволяет оценивать не только среднюю точность, но и поведение модели при росте сложности, перенос качества между типами задач и уверенность в специализированных сценариях.