OpenAI провернула ревизию SWE-Bench Pro и признала: каждый третий тест на код — брак

OpenAI провела аудит SWE-Bench Pro — одного из наиболее цитируемых тестов для оценки навыков программирования у ИИ-моделей — и выяснила, что примерно 30% задач в нём «сломаны»: содержат ошибки, неоднозначности или нерешаемы в нынешней формулировке. Компания, ранее активно ссылавшаяся на результаты этого бенчмарка, теперь официально дезавуирует своё одобрение и рекомендует сообществу пересмотреть его применение.

Проблема не нова — исследователи не раз жаловались, что SWE-Bench Pro плохо отражает реальную сложность кодинга, но публичная ревизия от разработчика ведущих кодовых моделей придаёт вес этим претензиям. Отзыв эндорсмента означает, что компания больше не будет использовать этот тест как критерий качества в своих пресс-релизах и публичных сравнениях.

Для индустрии это — напоминание: хрупкость бенчмарков остаётся головной болью. Многие современные «рекорды» в программировании могут оказаться артефактами плохих тестов, а не реальным прогрессом моделей.