NVIDIA выпустила открытую голосовую модель Nemotron VoiceChat 11B с full-duplex и вызовом инструментов

NVIDIA выпустила NemotronLabs VoiceChat 11B — открытую модель для real-time голосового общения, работающую в full-duplex режиме. В отличие от каскадных решений (ASR + LLM + TTS), модель объединяет потоковое распознавание и генерацию речи в одной сети, что снижает задержку до 448 мс по бенчмарку Full-Duplex-Bench 1.0. Модель умеет слушать во время речи и позволяет пользователю перебивать себя (barge-in) с показателем захвата 1.00 при 480 мс.

Это первая открытая full-duplex модель, поддерживающая вызов инструментов (tool calling) без остановки диалога. Для этого используется отдельный выходной канал для скриптов, а оператор может задать «удерживающие» фразы, которые модель произносит, пока выполняется API-запрос. Однако есть ограничения: максимум пять инструментов за сессию, невозможность одновременного вызова нескольких инструментов, запрет на прерывание во время выполнения инструмента, а также требование ASCII-only для системных промптов и ответов.

Модель построена на гибридной архитектуре Mamba/Transformer и состоит из Fast Conformer энкодера, LLM-бэкбона Nemotron Nano v2, TTS-декодера и отдельного канала для tool-calling. Обучена на ~550 000 часах аудио. Веса и контейнер опубликованы под пермиссивной лицензией, но NVIDIA предупреждает: модель готова только для исследований. Задокументированы проблемы: ограничение контекста в 2 минуты, деградация до невосстановимой тарабарщины после нескольких оборотов, самоповторение и пропуск слов в транскрипции пользователя.

Для запуска требуется один GPU с минимум 80 ГБ VRAM (A100, H100, RTX 6000 Pro, B200) на x86_64 Linux. Хостинг API или инференс-провайдеров пока нет. Модель может применяться в контакт-центрах, автомобильных ассистентах, киосках заказа, играх и accessibility-инструментах. На бенчмарках VoiceBench и Full-Duplex-Bench 1.0 модель занимает второе место среди открытых full-duplex решений.