Bonsai 27B: открытая модель-рассуждалка, которая умещается на iPhone

Команда PrismML представила Bonsai 27B — полностью открытую модель с 27 миллиардами параметров, которую удалось сжать до 3,9 ГБ. Это значит, что она легко запускается на iPhone и других мобильных устройствах, не требуя облачных серверов.

По собственным бенчмаркам компании, самая компактная версия сохраняет 90% производительности оригинала. При этом показатели по математике и коду почти не снизились — потеря точности минимальна.

Примечательно, что Apple уже тестирует эту технологию сжатия. Если интеграция подтвердится, это может серьёзно усилить позиции Apple в гонке on-device AI, где пока лидируют конкуренты с более мощными облачными решениями.