Kyutai выпустила MuScriptor: открытая модель превращает музыку в MIDI с точностью до инструмента

MuScriptor — это декодер-трансформер, который превращает задачу транскрипции музыки в языковое моделирование. Он принимает mel-спектрограмму короткого аудиофрагмента и авторегрессивно предсказывает MIDI-токены: высоту, тайминг и инструмент. В основе лежит схема токенизации MT3, адаптированная для многодорожечной записи.

Обучение проходит в три этапа. Сначала модель предобучается на синтезированных данных — 1,45 млн MIDI-файлов с аугментациями (сдвиг тона, темп, громкость, случайные звуковые шрифты). Затем дообучается на реальных записях — 170 000 треков общей длительностью более 11 000 часов с выверенными аннотациями. Финальный этап — reinforcement learning на 300 вручную проверенных треках с наградой из трёх F-мер (onset, frame, offset). Это улучшает чистоту транскрипции.

Веса выпущены на Hugging Face под лицензией CC BY-NC 4.0 (некоммерческое использование), код инференса — под MIT. Доступны три варианта: малый (103M), средний (307M, по умолчанию) и большой (1.4B). Модель справляется с многодорожечной музыкой разных жанров, включая сложные миксы, где одиночные инструменты перекрываются.