Block представила Dessa — speech-to-speech модель, которая слушает и говорит одновременно

Block (ранее Square) анонсировала Dessa — исследовательскую full-duplex модель, которая принимает и генерирует речь напрямую, без промежуточного текста. В отличие от типичных голосовых ассистентов, где цепочка состоит из распознавания речи, текстовой LLM и синтеза, Dessa учится на аудиозаписях реальных разговоров. Разработчики утверждают, что такой подход сохраняет эмоции, смех, вздохи и интонации, которые теряются при текстовой обработке.

Обучение велось на одном стоечном сервере NVIDIA GB200 NVL72 (72 GPU Blackwell и 36 CPU Grace). Для сравнения: открытая full-duplex модель Moshi от Kyutai использовала 1 016 H100 GPU и 7 млн часов аудио. Block подчёркивает, что Dessa усвоила язык на «в сотни раз меньшем количестве слов», чем требуется LLM. На демо-записях модель естественно перебивает собеседника, смеётся в середине фразы и использует короткие подтверждения вроде «ага» или «понял».

Инференс выполняется быстрее реального времени на MacBook Pro с M4 Max или более мощном железе — полностью локально. Однако Block пока не опубликовала архитектуру, веса модели, benchmark-результаты, API или цены. Dessa доступна только как research preview, и все демо-клипы, по заявлению компании, не редактировались. В одном из них модель общается с OpenAI GPT-Live-1.

Главное ограничение — отсутствие открытых данных для воспроизведения и сравнения. Если Block выполнит обещания по эффективности, Dessa может стать прорывом в области голосовых интерфейсов, но пока это лишь интригующий прототип без публичных метрик.