Optima: пользователи теперь сами собирают эталонные тесты для ИИ из своих данных

Artificial Analysis запустила Optima — платформу для сборки собственных AI-бенчмарков. Пользователи могут загрузить свои данные и сценарии работы, чтобы протестировать модели не на абстрактных метриках, а на реальных задачах. Система сравнивает модели сразу по трём параметрам: качество ответа, затраты на выполнение и время на задачу.

Для агентных приложений такие метрики часто говорят больше, чем сырая стоимость токенов. Optima решает давнюю проблему бенчмаркинга: стандартные тесты не отражают специфику конкретного бизнеса или сценария, а теперь каждый может проверить, какая модель действительно подходит под его нагрузку.