Срок жизни бенчмарков ИИ сократился вдвое: теперь 19 месяцев вместо 38

Автор OenoBench — винного бенчмарка для языковых моделей — решил выяснить, как долго живут такие тесты. Он собрал данные о 224 бенчмарках, которые с 2018 по 2026 год использовали девять ведущих лабораторий: OpenAI, Anthropic, Google, Meta, xAI, DeepSeek, Alibaba, Moonshot и Mistral. Для каждого определил дату «смерти» — момент, когда лучшая модель набирает 90% или уровень человека, либо создатели признают бенчмарк насыщенным или сломанным.

Главный результат: период полураспада бенчмарка — 23 месяца. У тестов, вышедших до 2023 года, он составлял 38 месяцев, у более новых — всего 19. Модели проходят запас до потолка вдвое быстрее, хотя сами бенчмарки не стали проще. Оценка учитывает ещё живые тесты, так что короткая история новых не искажает картину.

Отдельная проблема — дефекты: каждый седьмой новый бенчмарк умирает не от прогресса моделей, а от собственных ошибок. У агентных сред эта причина почти половины смертей. Датасет, код и скрипты исследования опубликованы в открытом доступе.