Qwen3.8-27B от Alibaba: мощная локальная модель, которую почти никто не запустит на своём ноутбуке

В середине августа Alibaba выложила на Hugging Face модель Qwen3.8-27B под лицензией Apache 2.0. Это плотная модель на 27,78 млрд параметров, которая принимает текст, изображения и видео, а контекстное окно составляет 262 144 токена (с помощью YaRN его можно расширить примерно до миллиона на сервере).

Главная особенность — архитектура: в 64 слоях чередуются 48 слоёв Gated DeltaNet (линейное внимание) и 16 слоёв полного Gated Attention в соотношении 3:1. KV-кэш есть только у 16 слоёв с полным вниманием — около 64 КБ на токен, что вчетверо меньше, чем у обычной 64-слойной модели. Это ключевой параметр для оценки возможности запуска на локальном железе.

На практике модель оказалась требовательной: автор обзора на MacBook Air M4 получил лишь около 8 токенов в секунду и не смог провести полноценное тестирование. Так что Qwen3.8-27B — интересный эксперимент с эффективным вниманием, но для комфортного использования на ноутбуке пока не годится.