Microsoft открыла код агента для юнит-тестов: 92% задач против 79% у обычного Copilot
Microsoft открыла исходный код code-testing-generator — полиглот-агента для написания юнит-тестов с верификацией. Он живёт в плагине dotnet-test внутри репозитория dotnet/skills под лицензией MIT. Агент решает проблему, которую обычно игнорируют кодовые ассистенты: простой запрос «сгенерируй юнит-тесты» не уточняет фреймворк, расположение файлов и типы проверок. code-testing-generator сначала изучает репозиторий, а потом планирует, пишет, запускает и проверяет тесты.
Внутренний бенчмарк Microsoft на 152 реальных задачах показал: агент справился с 140 (92,1%), а стандартный GitHub Copilot на той же модели и тех же промптах — с 120 (78,9%). На 89 размытых запросах разрыв ещё заметнее: 88,8% против 66,3%. На 15 задачах, привязанных к конкретному diff, агент прошёл все 15, а Copilot — ни одной. При этом агент сгенерировал на 2,3% меньше тестов (6963 против 7129) при почти одинаковом покрытии строк (72,4% vs 72,2%). Среднее время задачи — 359 секунд против 380, расход токенов на 3,2% выше.
Агент работает по конвейеру Research-Plan-Implement (RPI): ищет код, определяет язык и тестовый фреймворк, читает существующие тесты для единообразия, находит реальные команды сборки и тестирования. Затем выбирает одну из трёх стратегий: прямая запись и проверка, однопроходный цикл или итеративный для больших объёмов. Перед фиксацией агент выполняет пять проверок, включая лёгкое мутационное тестирование и проверку, что тесты действительно обнаруживаются системой сборки.
Инструмент подходит от соло-разработчиков до крупных компаний: стартапы и средний бизнес получают готовое «исследование репозитория», которое у мелкой команды нет времени кодить вручную; предприятия могут форкнуть и адаптировать языковые правила под свои фреймворки. Особенно полезно в регулируемых отраслях (финансы, здравоохранение, страховка, госсектор) и для команд, разгребающих легаси-тесты. Агент не трогает продакшн-код и избегает тестов, которые обращаются к внешним URL, привязывают порты или зависят от тайминга.