Месяц GPU и четыре файнтюна: почему Gemma 4 так и не научилась писать стихи

Инженер решил научить Gemma 4 писать русские стихи: тема — «тщетность накопления жизненного опыта», размер — амфибрахий, обязательное слово «тосок» (которого в языке нет). У него был план из четырёх пунктов, размеченный корпус на 13 тысяч пар, собственная метрика, проверенная на Пушкине, и свежая статья с рецептом.

После месяца аренды L40S и сожжённых GPU-часов все четыре файнтюна показали результат хуже, чем необученная базовая модель. Главный подозреваемый — loss — до последнего выглядел очевидным, но виновным оказался другой фактор. Автор признаётся, что месяц принимал решения по шуму и не знал об этом.

Практический вывод: рифма — это не то, что модель может выучить через дообучение. Её можно только навязать архитектурой или постобработкой. Эксперимент — наглядная иллюстрация границ файнтюна для творческих задач.