Дообучение GigaAM-v3 на IT-лексике: WER упал на 35%, точность терминов — 86,7%

Модель GigaAM-v3, лежащая в основе программы для диктовки Glas, хорошо справлялась с обычной русской речью, но на IT-терминах начала спотыкаться: Docker превращался в «докер», Python — в «Пайтон», а целые слова вроде «ИИ» могли пропадать из фразы.

Чтобы исправить это, команда дообучила модель на 25 часах живой речи разработчиков. На тестовой выборке из 525 коротких записей WER снизился с 8,81% до 5,76% (улучшение примерно на 35%), а доля правильно распознанных терминов выросла с 43,8% до 86,7%. Скорость работы при этом практически не изменилась.

Впрочем, у текущей версии 0.01 есть и недостатки: модель стала чаще пропускать слова, а на обычной речи хуже воспроизводит регистр и пунктуацию. Кроме того, тестовая разметка выполнена тем же автоматическим конвейером, что и обучение, с выборочной ручной проверкой, поэтому часть выигрыша может объясняться совпадением стиля разметки.