Julia 1 — открытая модель решений на 144 млн параметров, запускается на CPU

Supersonic Labs представила Julia 1 — небольшую модель, которая решает задачи классификации и ранжирования, а не общается как чат-бот. На вход подаётся контекст, вопрос и от 2 до 20 вариантов ответа. Модель выбирает лучший и возвращает softmax-вероятности для всех опций. Веса доступны на Hugging Face под Apache 2.0, модель работает локально на CPU или BF16-совместимом GPU, а ONNX-сборка запускается в браузере через WebGPU. API пока не открыт.

Архитектура основана на mmBERT-small (140M параметров) от JHU CLSP — мультиязычный ModernBERT, обученный на 1800+ языках. Supersonic Labs оставила энкодер и токенизатор, добавила голову принятия решений. Обучение обошлось всего в ~$104 (R$540) на облачных GPU. FP32 веса занимают 550 МБ. Внутренний пайплайн обучения не опубликован. В разработке Julia 2 с собственной архитектурой.

На бенчмарках Julia 1 показала 73,15% на Typed Decisions (против 72,70% у Jev), 94% на AG News, 86% на DAIR Emotion, но провалилась на Banking77 с 72 метками — лишь 64% против 87% у Jev. На MASSIVE (52 локали) — 71,5% макро-точности. Задержки на Apple M4 — 33 мс на одно решение, на Intel Core i5 — 108 мс для AG News, 3,7 с для Banking77 из-за фильтрации 72 меток.