Voice-2-voice модели: как нейронный кодек превращает речь в токены и почему каскад проигрывает

Статья на Habr детально объясняет, как работают voice-2-voice модели — системы, которые принимают речь на вход и выдают речь на выходе. Ключевой элемент — нейронный кодек, который превращает аудиосигнал в дискретные токены, понятные языковой модели. Без этого шага голосовой интерфейс невозможен.

Автор сравнивает два основных подхода: классический каскад (ASR → LLM → TTS) и сквозные модели вроде Moshi от Kyutai. Каскад теряет миллисекунды на каждом этапе преобразования, а Moshi умеет поддакивать и реагировать в реальном времени, пока пользователь ещё говорит — за счёт одновременной обработки аудиопотока.

Материал написан без излишней магии, с примерами на Swift, и будет полезен разработчикам, которые хотят понять архитектуру голосовых AI-агентов. Это не новость о релизе, а глубокий технический разбор существующих подходов.