Temper 0.5B: крошечная модель, которая обходит в Rust модели втрое крупнее

Разработчик представил Temper 0.5B — компактную модель на базе Qwen2.5-Coder-0.5B-Instruct. Вся её специализация — язык Rust: автор сознательно сузил задачу, чтобы проверить, на что способна модель с полмиллиарда параметров в узкой нише.

Упор на один язык дал неожиданный результат: Temper обходит более крупные универсальные модели, в том числе примерно втрое превосходящие её по числу параметров. То есть точечная дообученная модель может оказаться практичнее больших универсальных моделей, когда задача заранее известна.

Эксперимент — по сути проверка гипотезы: если не распыляться на широкий круг тем, а вложиться в один домен, крошечная модель способна конкурировать с моделями заметно большего размера. Подробности и сравнения — в статье.