Русский язык не влезает в тайминг: вторая часть разбора видео-дубляжа от создателя speeek.io

В первой части я разобрал, как звук превращается в текст с таймкодами и что Whisper делает с этим текстом. Вторая часть — о середине конвейера: перевод и укладка перевода в оригинальный тайминг. Это самое больное место проекта: распознавание я почти победил, синтез покупаю готовый, а вот как заставить русскую фразу уместиться в секунды английской — до сих пор не уверен.

Проблема не в длине текста, а в звучании: русская речь часто занимает больше времени, даже если слов меньше. Приходится либо растягивать, либо резать, либо менять структуру фраз. В конце статьи я провёл эксперимент, который дал немного ясности, но окончательного рецепта пока нет.