smevals — минималистичный инструмент для оценки моделей, промптов и обвязок

smevals — это компактный eval-фреймворк, созданный в рамках лаборатории Prime Radiant (Jesse Vincent). Он решает задачу, которая мучила Willison несколько лет: как легко и наглядно оценивать способности разных моделей, не настраивая сложную инфраструктуру. Всё работает через одну команду uvx smevals.

Инструмент использует чёткую терминологию: eval — это набор задач (tasks), объединённых общей целью (например, «как хорошо модель пишет хайку»). Задача — конкретное задание, а конфиг (config) — комбинация модели, системного промпта и параметров. Результат выполнения конфига на задаче называется run. Оценка (grading) производится отдельно, с помощью набора проверок (checks) — от простой проверки строки до использования другой модели в качестве судьи.

Пользовательский сценарий прост: через uvx smevals docs инструмент сам выводит README, затем код-ассистент может создать eval-директорию с YAML-файлами. После запуска и оценки можно смотреть результаты через веб-сервер (uvx smevals serve) или сгенерировать статический HTML-отчёт (uvx smevals build). Willison уже привёл пример с генерацией хайку и планирует расширять smevals для своих проектов.