OpenAI показала, как GPT-6.1 Sol переписывает COBOL: успех вырос с 5% до 98%

OpenAI опубликовала новый бенчмарк MultiLangBench, который оценивает, насколько хорошо модели работают с языками программирования, где мало обучающих данных: COBOL, Fortran, Visual Basic и OCaml. Компания также поделилась результатами закрытого теста на перенос старого кода на современные языки.

Цифры впечатляют: прошлое поколение моделей успешно переписывало COBOL-программы лишь в 5,4% случаев. Новая GPT-6.1 Sol при стандартных настройках достигает 86,6%, а если дать ей больше времени на размышления — 97,9%. Это кардинально меняет перспективы миграции легаси-систем, которые до сих пор работают на COBOL в банках и госучреждениях.