Jev против Laya: бенчмарк моделей-решателей для RAG-реранжирования

Автор провёл A/B-тест моделей Jev (TypeSafe AI) и Laya в паре с тремя специализированными реранкерами на трёх наборах данных: SciFact, FiQA и NFCorpus. Сравнивались не только метрики поиска, но и время обработки двадцати документов, а также потребление видеопамяти. Результаты и код выложены на GitHub.

Вывод: локальная открытая Laya без потери качества заменяет облачный Jev, при этом экономит ресурсы — обработка пачки документов укладывается в те же тайминги, а видеопамяти уходит меньше. Это указывает на то, что для сценариев с приватностью данных или бюджета на GPU в условиях RAG открытая модель может быть предпочтительнее.