Дообучил 4B-модель на русском за вечер: 84,5% точности за пару сотен рублей аренды GPU

Многие бизнес-задачи с ИИ сводятся к выбору одного из вариантов: куда направить обращение, кто согласует заявку, срочная ли жалоба. Автор решил не платить за API больших моделей, а дообучить открытую 4-миллиардную модель на русскоязычных данных. Весь эксперимент обошёлся в несколько сотен рублей за аренду видеокарты — и занял вечер.

Результаты честно измерили: на своих задачах модель даёт 84,5% точности, а почти две трети потока можно отправлять на автоматику, где 95% решений оказываются правильными. На чужих, незнакомых задачах модель попадает в верхнюю группу, но уступает лидерам. Автор также делится граблями, на которые не стоит наступать, и метриками, которые стоит требовать от подрядчика. Модель и код выложены в открытый доступ.