Как hh.ru строил LLM-судью для оценки резюме: от наивных подходов к продакшену

На Хабре вышла статья от LLM Eval Lead hh.ru Жени Орлова о том, как проектировали систему оценки для нейроразбора резюме в ИИ-помощнике. Автор честно признает: создать LLM-судью легко, но добиться доверия к его оценкам — задача на порядок сложнее.

В процессе разработки команда быстро поняла, что хороший LLM-судья — это не просто скрипт, а полноценный продукт со своими рубриками, датасетами, метриками качества и стоимостью эксплуатации. От наивных подходов пришлось отказаться в пользу более продуманной архитектуры.

Статья содержит практические выводы по проектированию оценочных систем для LLM-приложений — будет полезна всем, кто строит или планирует строить подобные решения в продакшене.