Запустить 27B модель на ноутбуке: нестандартное квантование без аппроксимации весов

Ещё пару лет назад казалось нереальным запустить полноценную 27B модель на обычном ноутбуке — требовалась мощная видеокарта или сильно урезанные веса с маленьким контекстом. Пока индустрия оттачивала классическое low-bit квантование, отдельные команды пошли дальше: они решили вообще отказаться от аппроксимации весов.

Идея в том, чтобы собрать нейросеть буквально на нескольких дискретных значениях, без приближений. На практике этот подход далеко не сразу заработал, но в итоге показал результаты. Подробности эксперимента и его результаты — в материале на Habr.