OpenAI разобрала SWE-Bench Pro: популярный бенчмарк для ИИ-кодинга оказался ненадёжным

OpenAI провела внутреннее расследование SWE-Bench Pro — одного из самых популярных бенчмарков для оценки способности ИИ-моделей писать и исправлять код. Результаты оказались тревожными: тест содержит шум, который искажает реальную картину производительности моделей.

Среди выявленных проблем — неоднозначные формулировки задач, утечки данных из тестовых наборов в обучающие, а также случаи, когда модель получала балл за формально правильный, но практически бесполезный код. OpenAI подчёркивает, что полагаться на SWE-Bench Pro как на единственный критерий качества кодинга рискованно.

Хотя OpenAI не называет альтернатив, анализ намекает на необходимость более тщательного проектирования бенчмарков и использования нескольких независимых метрик. Для разработчиков и исследователей это сигнал: доверять, но проверять — особенно когда речь идёт о выборе модели для production.