IBM открыла Granite Speech 5.0 2B: транскрипция и перевод на шести языках под Apache 2.0

IBM представила Granite Speech 5.0 2B — новую открытую модель для транскрипции и перевода речи. Размер — 2 миллиарда параметров, плотная архитектура. Модель работает с шестью языками и распространяется под лицензией Apache 2.0. Также IBM обновила две предыдущие модели: Turbo CTC (для edge-устройств) и Granite Speech 4.1 2B Plus (с диаризацией).

Архитектура состоит из трёх частей: речевой энкодер (16 блоков Conformer с CTC), 2-слойный q-former для проекции и downsampling'а (общее сжатие в 10 раз, 10 Гц на вход LLM) и LLM на базе промежуточного чекпойнта granite-4.0-1b-base с расширением контекста до 16 тысяч позиций (YaRN) и LoRA-адаптерами. Обучение шло 40 дней на 8 GPU H100 с использованием 390 тысяч часов публичного аудио и синтетических данных.

На бенчмарке Open ASR Leaderboard модель показывает средний WER 5.68% (данные на 21 октября 2026), уступая только Qwen3-ASR-1.7B (5.40%). Лучший результат — 0.99% WER на LibriSpeech Clean, худший — 13.79% на приватном наборе разговорной речи. В многоязычном тесте CommonVoice WER составил 2.60% для португальского, 3.50% для испанского, 10.74% для японского. Для перевода X→English CoVoST BLEU: португальский 53.6, немецкий 40.1.

Среди ключевых улучшений по сравнению с Granite Speech 4.1 2B: указание языка во входном промпте, поддержка списков ключевых слов до 2000 терминов (F1 на Earnings-22 вырос с 67.2 до 90.1 при правильном списке), пунктуация и капитализация по запросу (капитализация F1 от 90.16 до 99.51), лучшая устойчивость к шуму и реверберации. Модель доступна для инференса через Transformers, vLLM, mlx-audio (Apple Silicon) и llama.cpp GGUF (рекомендуется Q8_0).