16,9 МБ против Whisper: крошечная модель Whistle выигрывает на CPU, но молча теряет часть аудио

Cactus Compute выпустила Whistle — компактную модель распознавания речи размером 16,9 МБ, которая работает на CPU, поддерживает семь языков и возвращает посекундные таймстампы и вероятности. В разборе на MarkTechPost модель прогнали через LibriSpeech (test-clean и test-other) и сравнили с Whisper tiny и base на одинаковых клипах, оценивая результаты по парным интервалам с поправкой Холма.

На test-other Whistle с жадным декодированием показала лучший WER, чем Whisper base, а при сравнении с beam search значимой разницы не нашлось. Скоростное преимущество у Whistle есть, но оно сокращается по мере роста длины аудио. Все замеры делались на Apple M4, опубликованные цифры — результаты однократных запусков, а не полная статистика.

Главная находка не в бенчмарках: в 30-секундном окне движок молча вырезает середину длинных аудио. Если модель используется вслепую, это может привести к потере важных фрагментов записи. Авторы также проверили стриминг, таймстампы, приоритизацию ключевых слов, шум, эмбеддинги и вызовы инструментов из речи.

Whistle выглядит перспективной для локальных и CPU-сценариев, но перед продакшеном стоит внимательно проверить её поведение на длинных записях — иначе есть риск получить транскрипт без куска разговора.