Тесты и бенчмарки
RESON: открытый инструмент и датасет для оценки ASR в телефонном канале
Команда ASR ML из MWS AI (платформа Audiogram) представила два открытых инструмента, которые родились из внутренних задач. RESON (Research Engine for Speech & Observation Notes) — это фреймворк для детального анализа ошибок ASR-моделей: он показывает не просто WER, а типичные искажения, омографы, проблемы с паузами и шумами.
Второй инструмент — RESON OSD, открытый бенчмарк для русскоязычного распознавания речи именно в телефонном канале. В датасет вошли реальные звонки с разметкой, что позволяет честно сравнивать модели в условиях, близких к продакшену. Оба инструмента уже доступны на GitHub.
Источник: habr.com