Почему 100% в ARC-AGI-3 ещё не AGI: разбор разочарования

ARC-AGI-3 — детище Франсуа Шолле и фонда ARC Prize Foundation. В отличие от типовых тестов, этот бенчмарк требует от ИИ способности исследовать незнакомую среду, понимать правила на лету, планировать и адаптироваться. Идея в том, что только агент, умеющий по‑настоящему учиться, справится со сложными интерактивными играми.

Несколько команд уже заявили о 100% прохождении. Но, как разбирается автор, это не победа. Скорее наоборот — высокие результаты оказались скорее демонстрацией переобучения под конкретные задачи, а не признаком общего интеллекта. Реальные способности к обучению и переносу знаний остались под вопросом.

Вывод статьи: ARC-AGI-3 — полезный, но не решающий бенчмарк. И пока он не сломан окончательно, споры об AGI преждевременны. Полный текст — на Хабре.