ScarfBench: тестируем ИИ-агентов на перенос корпоративных Java-приложений

HuggingFace запустил ScarfBench — специализированный бенчмарк, который оценивает, насколько хорошо ИИ-агенты справляются с задачами миграции корпоративных Java-приложений между разными фреймворками. Речь идёт о переносе легаси-кода с одного стека на другой, например с Java EE на современный Spring Boot.

Бенчмарк включает набор реалистичных сценариев: от рефакторинга зависимостей до корректной переработки конфигураций развёртывания. Учитывается не только правильность кода, но и то, насколько агент понимает контекст приложения, не ломает смежные модули и корректно обрабатывает редкие краевые случаи.

ScarfBench уже доступен на HuggingFace. Это важный шаг для индустрии: Enterprise Java-миграция — одна из самых трудоёмких и дорогих задач в корпоративной разработке, и появление качественного бенчмарка должно стимулировать прогресс AI-агентов в этой нише.