Gradium открыла Phonon — компактную TTS-модель без GPU и облака

Gradium, дочерняя компания Kyutai, открыла исходный код Phonon — семейства небольших текст-в-речь моделей для работы прямо на устройстве. Флагманская Phonon 31m (английский, 37 голосов) выпущена под лицензией Apache 2.0 и весит всего 64,5 МБ. Версия 40m доступна как отдельные модели для пяти языков (CC BY-NC 4.0) и мультиязычная модель на 102 голоса (также CC BY-NC 4.0). Никакого облака, GPU или посекундной оплаты не требуется.

По бенчмаркам Phonon находится в лидерах среди открытых аналогов: 1,70% WER на сложном наборе из 500 фраз против 3,50% у Kokoro. При этом минимальный WER (0,51%) уступает Seed-TTS LLM (0,45%) и Kokoro (0,46%). Задержка первого аудио на CPU — около 7 мс. Модель запускается на процессорах, смартфонах, Raspberry Pi 5, браузерах (WASM, WebGPU) и NVIDIA GPU.

Архитектура Phonon основана на каузальном трансформере с префиксом из текстовых и спикер-эмбеддингов. Токенизатор SentencePiece на 4000 токенов работает без фонемного преобразования. Бэкбон генерирует один скрытый вектор на каждые 80 мс, а блок flow-matching превращает его в аудио за один шаг. Декодер — уменьшенная версия Mimi от Kyutai, выдающая PCM-аудио на 24 кГц. Для 31-миллионной модели используются 6 слоёв трансформера, для 40-миллионной — 9. Модели дистиллированы из большого учителя Phonon, обученного на кластере H100.