Qwen показала архитектуру Qwen4: 125 млрд параметров, MoE и всего 6 млрд активных на токен

26 августа 2026 года команда Qwen представила модель Qwen3.8-Flash-Next — экспериментальную версию архитектуры, которая ляжет в основу Qwen4. Это мультимодальная MoE-модель с открытыми весами. Сами разработчики называют её «ранним превью Qwen4».

Всего у модели 125 миллиардов параметров, плюс ещё 51 миллиард в отдельном слое. Но благодаря архитектуре смеси экспертов на каждый токен активируется лишь 6 миллиардов — это радикально снижает вычислительные затраты при сохранении высокой ёмкости модели.

Qwen3.8-Flash-Next — важный шаг к Qwen4. Пока это экспериментальный релиз, но он даёт представление о направлении, в котором движется одна из ведущих китайских лабораторий. Открытые веса позволяют сообществу уже сейчас изучать новую архитектуру.