NVIDIA выпустила Audex: модель, которая слышит и говорит, но не «тупеет» от мультимодальности

NVIDIA выпустила Audex — единую аудио-текстовую Large Language Model на архитектуре Mixture-of-Experts. У неё 30B параметров, из которых 3B активируются на каждый токен. Бэкбоном служит Nemotron-Cascade-2-30B-A3B — гибрид Mamba-Transformer на 52 слоя со 128 экспертами (6 активных). Модель умеет принимать на вход аудио (через кодер AF-Whisper от Audio Flamingo 3) и генерировать звук и речь, рассматривая аудиотокены как обычные текстовые.

Главный вызов, который решали в NVIDIA, — «текстовый налог» (text tax): когда в модель добавляют возможность выводить аудио или изображения, её точность на текстовых бенчмарках почти всегда падает. Audex этого избегает: при сохранении той же архитектуры показатели на тексте не проседают, а местами даже немного растут. Такого добились многоэтапным SFT и текстовой Cascade RL, без разделения на «думатель» и «говорун» и без каскадного стекирования моделей.

Модель работает с контекстом до 1 млн токенов, поддерживает instruct и thinking режимы. Для речи используется кодек X-Codec2 (50 токенов/с, 65 536-словарь), для неречевых звуков — X-Codec (200 токенов/с, 4 RVQ-слоя). NVIDIA выложила чекпоинты Audex-30B-A3B и уменьшенной версии Audex-2B (2B параметров) под некоммерческой лицензией. Проект умеет запускаться через Megatron-LM (тренировка) и vLLM (инференс).