Bonsai от PrismML: однобитная модель на 27 млрд параметров в 4 ГБ — как воспроизвести метод

Команда PrismML представила Bonsai — языковую модель, где каждый вес хранится в одном бите плюс общий масштаб на группу из 128 весов. Это позволяет упаковать 27 млрд параметров примерно в 4 ГБ вместо обычных 54 ГБ для 16-битного формата. Разработчики опубликовали формат, вычислительные ядра для llama.cpp и MLX, а также инструмент квантизации, но не раскрыли метод получения самих весов.

Проблема в том, что простое округление весов до знака полностью разрушает модель — она перестаёт работать. Автор статьи попытался воспроизвести процедуру. Сначала он пошёл по пути послойной квантизации — получил модель с огромной перплексией, непригодную для использования.

Сравнение весов Bonsai и оригинальной Qwen3-1.7B натолкнуло на мысль, что веса были получены не округлением, а обучением. В итоге автор самостоятельно обучил однобитную модель, используя дистилляцию, и добился работоспособности. Подробности процедуры и код он обещает раскрыть позже.