Jev против GPT-5.4 и GPT-5.6: 16 000 тестов показали, где модель-классификатор выигрывает, а где ошибается

Jev — это модель, которая не генерирует длинные ответы, а только классифицирует: «да/нет» или выбирает один из предложенных вариантов. Разработчики проверили её на четырёх открытых датасетах, сравнив с GPT-5.4-mini и GPT-5.6-luna, а затем прогнали через несколько тысяч реальных решений в рабочих процессах. Всего — 16 000 вызовов.

На открытых данных Jev показал высокую точность в задачах бинарной классификации и выбора категории, часто обходя GPT-5.4-mini по скорости и стоимости. Однако на сложных неоднозначных примерах модель ошибалась чаще, особенно когда требовалось понимание контекста. В реальных процессах Jev хорошо справлялся с фильтрацией и скорингом, но уступал GPT-5.6-luna в задачах с размытыми границами.

Вывод: Jev — эффективный и дешёвый инструмент для рутинной классификации, где ответ жёстко ограничен. Но для задач, требующих тонкого анализа, лучше использовать более мощные LLM. Разработчики рекомендуют применять Jev как фильтр или препроцессор, а не как универсальный классификатор.