Зачем LLM-фичам эвалы: без них не поймёшь, стало лучше или хуже

Эвалы (оценки) для LLM-фич — это способ измерить, насколько изменение промпта или смена модели улучшили результат. Без них любое обновление — гадание: интуиция и единичные примеры часто обманывают, а регрессия по одним метрикам может скрыть просадку по другим.

В статье на примерах показано, как настроить процесс оценки, какие бывают виды эвалов (автоматические, с участием человека, смешанные) и какие грабли ждут тех, кто пренебрегает этой практикой. Главный вывод: эвалы — не роскошь, а базовая гигиена работы с LLM.