Как отличить паузу от молчания: опыт создания VAD для голосового ассистента контакт-центра

Готовая технология определения границ речи (VAD) не справляется с естественными паузами в разговоре: ассистент перебивает задумавшегося человека или молчит после явного завершения фразы. Это одна из самых сложных задач в голосовом стеке, и стандартные VAD тут бессильны.

Авторы перебрали множество подходов: от порогов по громкости до нейросетевых моделей. Лучшие результаты дала собственная разработка на основе LLM, которая анализирует не только акустику, но и контекст: закончена ли мысль, не взял ли человек паузу для подбора аргумента, не перебивает ли его собеседник. Точность выросла на 40%, но остались проблемы с долгими перечислениями и эмоциональными паузами.