MWS AI Vision Bench обновился: добавлен антифрод и метрики упёрлись в потолок

Разработчики MWS AI Vision Bench подвели итоги года: мультимодальные модели серьёзно прогрессировали, и метрики в задаче VQA (вопрос-ответ по изображениям) начали упираться в потолок. Чтобы бенчмарк оставался полезным, в него добавили новую задачу — Anti-fraud (обнаружение подделок и мошеннических документов).

С антифродом оказалось сложнее, чем ожидалось: модели, отлично справляющиеся с VQA, часто проваливаются на выявлении тонких признаков подделки. Разработчики планируют расширять этот раздел и приглашают сообщество к участию в наполнении бенчмарка.

Обновлённый бенчмарк доступен в открытом доступе. Это важный инструмент для тех, кто разрабатывает или внедряет ИИ-решения для работы с русскоязычными документами, особенно в банковской и юридической сферах.