Дообучил нейросеть на MacBook — она стала хуже: честные цифры

Автор экспериментально дообучил самую маленькую модель своего лаунчера Lumi прямо на MacBook, используя LoRA через MLX. После 328 примеров модель показала ухудшение: на запечатанном экзамене она набрала 4 из 23 вместо прежних 6, а также начала ошибаться в простых арифметических задачах (2 + 2 × 2 = 4) и путать термины (например, «скуф» — это лодка).

Со второй попытки автору удалось вернуть модель к исходным 6 баллам. В статье подробно разбирается, почему маленькой модели недостаточно нескольких сотен примеров для качественного дообучения, а также почему обученную модель пока нельзя перенести в Ollama.