Тесты и бенчмарки
ИИ-модели на ремиксе «Танчиков»: повторное сравнение спустя полгода
Полгода назад вышло первое сравнение ИИ-моделей на задаче ремейка классической игры Battle City. Теперь, учитывая стремительное развитие индустрии, автор решил повторить эксперимент — проверить, как изменились возможности генерации кода и игровой логики у актуальных моделей.
В новом тесте участвуют те же промпты и метрики, что и в прошлый раз, но на более свежих версиях моделей. Результаты позволяют оценить реальный прогресс: одни модели заметно подтянулись в архитектуре игры, другие — наоборот, потеряли позиции из-за смещения фокуса разработчиков.
Полный разбор с кодом, скриншотами и таблицами — в статье на Хабре.
Источник: habr.com