Рекурсивный движок llama.cpp на RTX 3050: тесты Qwen 32B и 7B Coder — прирост качества х3, но память подвела

Разработчики форка llama.cpp добавили рекурсивный механизм, который позволяет модели «думать» дольше, улучшая качество ответов. В тестах на RTX 3050 сравнили три модели: лёгкую 7B и тяжёлую 32B. Прирост качества на бенчмарках достиг трёхкратного значения, но цена — рост потребления памяти и времени генерации.

Для 7B Coder рекурсия дала заметный прирост в задачах кода, но на 32B модель упиралась в лимит видеопамяти (4 ГБ на RTX 3050). Автор отмечает, что на практике овчинка выделки не всегда стоит: для простых задач хватает обычного запуска, а рекурсия полезна только для сложных рассуждений.

Вывод: инструмент интересен энтузиастам, которые готовы жертвовать скоростью ради качества. Но для повседневного использования на бюджетных картах лучше выбирать модели поменьше или без рекурсии.