Cohere открыла North Small Translate: 218B-переводчик обходит DeepL и Google на WMT26

Cohere представила North Small Translate — первую переводческую модель в семействе North. Это sparse-MoE Transformer с 218 млрд параметров, из которых на токен активно только 25 млрд, то есть примерно 11,5% весов. Модель поддерживает 50 языков, а на внутреннем WMT26 набирает 83,6 балла в среднем. По заявлению Cohere, это выше результатов DeepL, Google Translate, а также открытых GLM 5.2 и Mistral Large 3.

Модель доступна бесплатно в API Cohere до упора rate limit, можно самостоятельно хостить для некоммерческих задач или купить коммерческую лицензию. Это первая модель перевода в North — продолжение линейки Tiny Aya и Command A Translate. Над качеством вместе с Cohere работала RWS: эксперты Language Weaver участвовали в тренировке.

Архитектурно это decoder-only Transformer: 128 экспертов, из которых по токену активируются 8 плюс общие эксперты. Внимание смешанное — sliding-window с окном 4096 и RoPE чередуются с глобальными слоями без позиционных эмбеддингов (соотношение 3:1, как в Command A). Контекст — 16 тыс. токенов на вход и выход, только текст. Важный нюанс: при 25 млрд активных параметров в памяти всё равно придётся держать все 218 млрд.