Волна ИИПодписаться
← Назад
Тесты и бенчмарки

Jev-реранкер обошел LLM по точности классификации товаров, но стоит как маленькая модель

21.09.2026 · habr.com ↗

В пайплайне классификации товаров по справочнику ОКТРУ реранк — самый дорогой этап: поиск отбирает 30 кандидатов, а LLM выбирает один. Автор решил проверить, можно ли заменить генеративную модель на TypeSafe Jev, которая не генерирует текст, а принимает состояние и типизированные вопросы, возвращая вероятности.

Эксперимент провели на 928 позициях технических спецификаций госзакупок, на одном пуле кандидатов. Jev сравнили с gpt-oss-120b (с reasoning и без), Gemma-4-31B, Gemini 3.5 Flash Lite, 3.8 Flash, 3.1 Pro и классическим кросс-энкодером Qwen3-Reranker-8B.

Результат: Jev дал отличную точность, сопоставимую с крупными LLM, но при этом стоимость и латенси оказались на уровне небольшой 8B-модели. Это делает его эффективной альтернативой для задач, где важна скорость и бюджет.

Источник: habr.com
← Все новости AI Wave