NVIDIA выпустила открытую транскрибационную модель: 40 языков, час аудио и всего ~4 млрд активных параметров

NVIDIA представила Nemotron 3.5 Transcribe — модель с открытыми весами для транскрибации речи. Она обрабатывает аудио длиной до часа на 40 языках, а стиль вывода задаётся текстовой инструкцией: можно получить дословную расшифровку, литературную обработку, разметку спикеров, контекстный или переведённый текст. Для разработчиков это замена сразу трём отдельным инструментам: ASR, диаризации и выравниванию. В модели 34 млрд параметров, из которых активны примерно 4,3 млрд, контекст — 65 536 токенов.

Архитектура построена на гибридной Mamba-Transformer MoE базе Nemotron 3.5 Lightning 30B-A3B: 52 слоя, из которых 23 Mamba-2, 23 MoE и лишь 6 attention. Аудиоэнкодер на 0,6B работает вместе с замороженным диаризатором Nemotron 3, который отслеживает до 8 спикеров. Есть модуль спекулятивного декодирования и CTC-адаптер для таймкодов слов. В BF16 модель работает на одном H100 80 ГБ, есть квантизации FP8 (~35 ГБ) и NVFP4 (~21 ГБ) — последняя запускается на RTX 5090, также доступны GGUF-файлы для NeMo-Speech.cpp. Обучение включало SFT на 256 H100 за 28 500 шагов и короткий этап RL (400 обновлений GSPO с наградой 1 минус WER). В обучении использовано 1,72 млн уникальных часов аудио (6,5 млн с повторами).

По данным NVIDIA, это лучшая открытая модель на английском и многоязычном Open ASR Leaderboards, хотя коммерческие API всё ещё впереди: на английских датасетах средний WER 4,71% (у ближайшего открытого конкурента Qwen3-ASR-1.7B — 4,94%), на многоязычных — 4,62% против 6,49%. Слабое место — мандарин: на дальнепольных встречах AliMeeting модель показывает 34,95% cpCER. Зато список сущностей в контексте снижает WER по именам с 12,21% до 2,20%, а в многоспикерных сессиях модель впервые обходит каскадные системы (15,80% cpWER против 16,83% у DiCoW).