Whisper не знает крымскотатарский? LoRA за полтора часа и декодер решают всё

В блоге на Habr вышла статья про распознавание речи для крымскотатарского языка — одного из тех, которые Whisper почти не знает. Автор применил LoRA-дообучение и уложился в полтора часа. Тестирование проводилось на отложенном наборе из 893 клипов (1,86 часа) с двумя дикторами, которых модель не слышала ранее.

Главный вывод: половина дела — в декодере. Оказалось, что адаптация только энкодера даёт скромный прирост, а вот дообучение декодера кардинально улучшает качество. Статья содержит итоговую таблицу с результатами, но в анонсе не раскрыты конкретные цифры — их обещают в полном тексте.

Это практический кейс для тех, кто работает с низкоресурсными языками. LoRA позволяет быстро адаптировать большие модели без полного файнтюна, а акцент на декодер — неочевидный, но важный приём. Материал будет полезен инженерам и исследователям в области ASR.