GLM-5.2 на ноутбуке: энтузиаст запустил 744-миллиардную модель на 25 ГБ RAM

Разработчик-одиночка под ником JustVugg представил Colibri — движок для запуска открытой модели GLM-5.2 с 744 миллиардами параметров на компьютере с 25 ГБ оперативной памяти. Для сравнения, даже 2-битный квант этой модели требует около 220 ГБ ОЗУ. Проект уже собрал более 2000 звезд на GitHub.

Секрет Colibri — в архитектуре MoE: плотная часть модели (внимание, эмбеддинги, общие эксперты) занимает 9,9 ГБ в int4-кванте, а 21 504 маршрутизируемых эксперта (каждый ~19 МБ) хранятся на NVMe-накопителе (около 370 ГБ) и подгружаются по требованию. Модель не дистиллирована — все 744 миллиарда параметров на месте, но веса сжаты до 4 бит.

На каждый новый токен модель опрашивает 8 экспертов в каждом из 75 MoE-слоев. Без прогретого кэша один токен требует чтения ~11 ГБ с диска, что даёт скорость от 0,05 токена в секунду. Это компромисс между доступностью и производительностью, но для экспериментов с фронтирной моделью — прорыв.

GLM-5.2 — флагманская открытая модель китайской Z.ai (лицензия MIT). Она имеет 744B параметров, ~40B активных на токен и контекст до 1M токенов. На кодинг-бенчмарках считается сильнейшей открытой моделью, уступающей лишь закрытым конкурентам вроде Opus 4.8 и GPT-5.5.