EdgeBench: практический бенчмарк для AI-агентов — разбор датасета, лидерборда и кривых масштабирования

EdgeBench — это бенчмарк для оценки AI-агентов, разработанный ByteDance. В туториале показан полный рабочий процесс: от загрузки датасета с Hugging Face до построения log-sigmoid кривых масштабирования. Автор разбирает таксономию задач, настройки выполнения (время бюджета, доступ в интернет) и логику судейства.

Практическая часть включает установку библиотек, стандартизацию названий моделей (Claude Opus 4.8, GPT-5.5, GLM-5.1, DS-V4-Pro) и извлечение лидерборда из README репозитория. Затем данные приводятся в аналитический вид, и для каждого временного бюджета строятся кривые масштабирования — это позволяет сравнить, как разные модели растут в производительности при увеличении времени.

Особое внимание уделено функциям рескейла SForge, которые преобразуют сырые оценки в нормализованные баллы бенчмарка. Туториал подойдёт разработчикам, которые хотят самостоятельно оценить агентов на EdgeBench или добавить его в свой пайплайн тестирования.