Нейросети научили обычные mp3 реагировать на действия игрока — как в видеоиграх

Проблема знакома каждому, кто водит настолки: боевой трек обрывается на середине переговоров, а переход от таверны к подземелью занимает драгоценные секунды поиска. Видеоигры решили это ещё 20 лет назад — там музыка реагирует на действия игрока через loop-точки и маркеры в движках вроде FMOD и Wwise. Но у мастера под рукой только обычные mp3 с фиксированным началом и концом.

Автор проекта взял старый алгоритм Фута (2000 год), соединил его с современными нейросетями и Web Audio API. Получился инструмент, который анализирует структуру трека, находит loop-точки и динамически переключает секции в зависимости от контекста игры. В процессе выяснилось, что эвристика на основе теории музыки бьёт чистые нейросети по точности сэмпл-уровня — честные цифры и сравнения под катом.