Тесты и бенчмарки
Кодинг-агенты для Delphi: 20 задач, 7 моделей и один победитель
Весь свой научный софт — от рентгеновской рефлектометрии X-Ray Calc до электронного лабораторного журнала — автор пишет на Delphi. Когда он подключил к работе кодовые агентов, оказалось, что стандартные бенчмарки бесполезны: все гоняют Python и TypeScript, а на Delphi даже топовые модели регулярно ломают VCL.
Чтобы выбрать рабочий инструмент, он собрал 20 задач из трёх своих репозиториев и прогнал на них семь облачных и локальных моделей в двух режимах: без подсказок и с кастомным навыком delphi-development. По итогам теста нашёлся победитель, который справляется с Delphi-кодом заметно лучше остальных.
Материал будет полезен всем, кто пишет на Delphi и хочет использовать ИИ-агентов, но не доверяет рейтингам, заточенным под модные языки.
Источник: habr.com