LLM под микроскопом: как устроены тесты, бенчмарки и оценка моделей

В ответ на обсуждение предыдущей статьи о тестировании флагманских LLM автор подготовил материал, который объясняет, как вообще измеряют производительность языковых моделей. В центре внимания — не только стандартные бенчмарки, но и менее формальные подходы.

В статье разбираются ключевые параметры моделей (число параметров, размер контекста и т.д.), популярные тестовые наборы вроде MMLU, GSM8K и HumanEval, а также «тесты на коленке» — простые практические эксперименты, которые можно провести без датасетов.

Материал будет полезен всем, кто хочет научиться объективно сравнивать модели и понимать, какие метрики действительно важны в реальных задачах.