Baseten выпустила joey-1: 2B-модель для принятия решений по цене $0,01 за 1 млн токенов

Baseten представила joey-1 — компактную модель принятия решений на 2B параметров. В отличие от обычных LLM, она не генерирует свободный текст, а на каждый вопрос возвращает метку и точную вероятность. Цена — $0,01 за миллион входных токенов, веса выложены на Hugging Face под лицензией MIT. Это третья модель в линейке System One после mammoth-1 (27B) и elephant-1 (9B), выпущенных на прошлой неделе.

Модель дообучена на Qwen3.5-2B с полным fine-tune языковой части (энкодер изображений заморожен). Поддерживает до 16 384 токенов (262 000 на выделенных деплоях) и работает на одной CUDA-совместимой GPU. Согласно измерениям Baseten, joey-1 набирает 63,30 балла в публичной выборке Jev Decision Index 0.4 — лучший результат среди всех моделей меньше 4B, хотя уступает своей 9B-сестре на 9 пунктов.

Механика работы простая: на вход подаётся состояние (текст или изображение) и один или несколько вопросов трёх типов — выбор из вариантов, да/нет или шкала. Все вопросы обрабатываются за один forward pass с общим префиксом. API единый для всей линейки, поэтому замена модели — это одна строчка кода. Благодаря калибровке модель умеет говорить «не знаю» и эскалировать неопределённые случаи на более крупные модели или человека.

Обучение проводилось на 6,21 млн примеров за одну эпоху (43 390 шагов) с loss типа cross-entropy и дополнительным членом калибровки Brier. Использовались два узла по 8 GPU H100. Параметры: пиковая скорость обучения 1e-5, bf16. Среднее время принятия решения — 20 мс. Для высоконагруженных сценариев классификации, guardrail-проверок и роутинга joey-1 выглядит одной из самых дешёвых и быстрых альтернатив.