Fish Audio выпустила Drama 3 — 35B MoE-модель для озвучки с режиссурой по тексту

Fish Audio представила Drama 3 — модель синтеза речи на основе архитектуры mixture-of-experts. При общем объёме 35 млрд параметров на каждый токен активируется лишь около 3 млрд (8 из 256 экспертов плюс 1 общий). Модель доступна с открытыми весами на Hugging Face, а также работает через API Fish Audio.

Главная фишка — режиссура голоса прямо в тексте. Достаточно поместить ремарку в квадратных скобках перед строкой, например [еле сдерживаясь], и модель озвучит её с нужной интонацией. Поддерживается до 16 персонажей в одном запросе, каждый со своим голосом — можно озвучить целую сцену за один вызов. Языков — 83.

Архитектурно Drama 3 построена на базе языковой модели Qwen3.5-35B-A3B: 40 слоёв с чередованием Gated DeltaNet и полного внимания (3:1). Вместо быстрого авторегрессионного декодера из S2 используется новый Codebook-MTP декодер с 4 общими слоями и 9 слоями на каждый акустический кодбук. Для работы нужен один GPU NVIDIA с памятью от 48 ГБ в режиме FP8 (тестировали на H200). По тестам Artificial Analysis модель показывает лучший результат среди продуктов Fish Audio, но уступает некоторым закрытым API по общему качеству.