NVIDIA сжала Nemotron-3-Super: модель Puzzle-75B-A9B даёт вдвое больше пропускной способности без потери качества

Команда NVIDIA представила Nemotron-Labs-3-Puzzle-75B-A9B — сжатую версию флагманской гибридной MoE-модели Nemotron-3-Super. Исходная модель имела 120,7 млрд параметров (12,8 млрд активных). После сжатия получилось 75,3 млрд суммарных и 9,3 млрд активных параметров. При этом архитектура из 88 блоков (40 Mamba, 40 MoE, 8 attention) сохранена полностью — менялись только ёмкости внутри блоков: размер SSM-состояния Mamba уменьшен со 128 до 96, промежуточный размер routed-экспертов — с 2688 до 1280-2688, а число активируемых экспертов на токен — с 22 до 4-18.

Сжатие проводилось методом итеративного Puzzle (фреймворк Puzzletron) — это поиск по дискретной архитектурной сетке, который оставил ёмкость в средних и поздних слоях, а в остальных сократил сильнее. Результат: на 8xB200 при одинаковой скорости ответа (100 токен/с на пользователя) пропускная способность выросла в 1,60–2,14 раза, особенно на декодинг-тяжёлых сценариях (8Kвход/64Kвыход — 2,03x). На одном H100 с контекстом 1M токенов удалось уместить 8 параллельных запросов вместо одного — вес весов упал с 70 ГБ до 44,5 ГБ.

Цена сжатия — небольшие потери на бенчмарках: Arena-Hard-V2 просел на 4,2 пункта, SWE-Bench — на 2,6. Показатели RULER и AA-LCR почти не изменились. Модель доступна на Hugging Face в трёх чекпоинтах: BF16, FP8 и NVFP4. NVIDIA заявляет, что это не просто масштабирование учителя, а целенаправленная архитектурная оптимизация под заданные сценарии развёртывания.