Whisper врёт: три типа галлюцинаций и как с ними бороться в сервисе дубляжа

Разработчик, в одиночку пишущий сервис дубляжа с 2022 года, подводит промежуточные итоги: за 2026 год через конвейер прошло 9203 задачи, но система ломается в тех же местах, что и в первый день. В первой части из трёх он разбирает, как звук превращается в текст с таймкодами и спикерами, и главную боль — галлюцинации Whisper.

Описаны три типа галлюцинаций Whisper и ловушки для каждого с примерами кода. Автор объясняет, почему приходится выбрасывать сегменты модели и собирать предложения самостоятельно, а также использует каскад на своей видеокарте с запасными выходами. Отдельная проблема — хинди, который молча терял до 15 секунд речи.

Честное ограничение: двое говорящих одновременно не поддерживается. Статья содержит практические советы по борьбе с галлюцинациями и построению надёжного пайплайна распознавания речи.