Bonsai 27B: Qwen3.6-27B ужали до 3.9 ГБ и запустили на ноутбуках и телефонах

PrismML представила Bonsai 27B — это не новая модель, а экстремально сжатая версия Qwen3.6-27B. Архитектура не менялась, но веса представлены в низкобитном формате. Доступны два варианта под лицензией Apache 2.0: тернарный (веса {−1, 0, +1}, 1.71 бита на вес, идеальный размер 5.9 ГБ) и 1-битный (веса {−1, +1}, 1.125 бита на вес, 3.9 ГБ).

Обе сборки мультимодальны: ~24.8 млрд параметров — языковая часть, 0.46 млрд — vision tower (хранится отдельно в 4-битном HQQ), ещё 2.5 млрд — эмбеддинги и LM head. Контекст — 262K токенов, что стало возможным благодаря тому, что ~75% внимания в Qwen3.6-27B линейное.

Bonsai 27B — это практичный инструмент для запуска сильной open-source модели на устройствах с ограниченной памятью. Разработчики могут попробовать обе версии уже сейчас.