Soofi S 30B-A3B: открытая гибридная модель Mamba-Transformer MoE бьёт рекорды среди открытых базовых

Консорциум KI Bundesverband при поддержке Министерства экономики Германии представил открытую фундаментальную модель Soofi S 30B-A3B. Модель обучена с нуля в облаке Deutsche Telekom в Мюнхене и доступна в виде предварительных весов на Hugging Face. Среди полностью открытых базовых моделей Soofi S набирает наивысший совокупный балл по английскому и немецкому языкам.

Архитектура — гибридная: 52 слоя, из которых 23 — Mamba-2 (последовательное смешивание), 23 — MoE с 128 экспертами (активируется 6 на токен + 2 общих) и 6 слоёв Grouped-Query Attention. Всего ~31,6 млрд параметров, из которых активируется ~3,2 млрд на токен. Модель не имеет instruction-тюнинга или выравнивания — это чистая базовая модель.

Разработчики осознанно взяли за основу архитектуру Nemotron 3 Nano без изменений, чтобы обеспечить совместимость с vLLM, эффективность инференса и научную воспроизводимость. Единственная варьируемая часть — рецепт данных. В консорциум вошли Fraunhofer IAIS, DFKI, TU Darmstadt, ellamind и Merantix Momentum.

Soofi S — пример того, как европейские исследователи создают конкурентоспособные открытые модели, используя современные гибридные архитектуры и фокусируясь на языковой паре немецкий-английский. Это важный шаг для немецкоязычного ИИ-сообщества.