Whisper не справился с песнями: как я сравнивал ASR-системы для музыкального конкурса

Для новогоднего корпоратива автор задумал конкурс «What The Track»: нужно угадать последнее слово оборванной строки из песни. Первую версию нарезали вручную, но для автоматизации подготовки решили использовать нейросети распознавания речи.

Оказалось, что между «нейросеть умеет распознавать речь» и «ей можно доверить музыкальный конкурс» — пропасть. Whisper и другие системы плохо справляются с вокалом, фоновой музыкой и нестандартным произношением. Автору пришлось сравнить несколько ASR-решений, чтобы найти рабочее для своей задачи.