Bonsai-27B запустили на RTX 3050: рекурсивный форк llama.cpp решает задачи, которые ставили базовую модель в тупик

Автор поделился опытом запуска 27-миллиардной модели Bonsai-27B на видеокарте RTX 3050 — для этого он использовал собственный форк llama.cpp с рекурсивным режимом инференса. В тесте базовая версия модели зависла и не смогла завершить задачу, а рекуррентная довела решение до ответа.

В статье приведены реальные замеры скорости и команды для повторения эксперимента на своём железе. Объясняется, как работает рекурсивный механизм и почему он делает модель «умнее» прямо на инференсе без переобучения.