Edge0 выпустила Audio8-TTS-Realistic: 0,6B параметров и 23 языка для клонирования голоса

Edge0 представила Audio8-TTS-Realistic — открытую модель для zero-shot клонирования голоса на 0,6B параметров (601M в основной части, без кодека). Голос восстанавливается по одному референсу и тексту, но модель умеет генерировать речь и без референса. Поддерживается 23 языка — на 12 больше, чем у предыдущей версии. Веса и код выложены под Apache 2.0, так что модель можно свободно дообучать и использовать в своих продуктах.

Архитектура — DualAR, вдохновлённая Fish Audio S2 Pro: медленная ветка на базе Qwen2.5 0.5B предсказывает текст и первый аудиокодбук, а быстрая ветка из четырёх слоёв параллельно генерирует остальные девять. Это даёт около 21,5 кадра в секунду и сравнительно небольшие затраты при запуске. На Apple M2 в INT4 ONNX модель занимает всего 1,1–1,2 ГиБ пиковой памяти, но публичного ONNX-экспорта пока нет, а для CUDA рекомендуется GPU.

По цифрам: на бенчмарке CV3 средняя ошибка 4,86% на девяти языках — лучше, чем у Qwen3-TTS-1.7B (7,73%), и выше многих более крупных открытых моделей, но уступает моделям 4B-класса на MiniMax. Слабые места — тайский (WER 48,57%) и кантонский (CER 31,35%). Обучение шло в три этапа: мультиязычный SFT, GRPO с наградой WER/SIM и GRPO с обученным критиком реалистичности. Критик оценивает, похож ли синтез на человеческую запись; дополнительный штраф ограничивает замедление речи свыше 1,35x от референса. Последний этап обучался только на китайском и английском, но всё равно улучшил метрики на 13 низкоресурсных языках: ошибка упала с 22,53% до 20,77%, а SIM вырос с 0,637 до 0,679.