NVIDIA открыла Alpamayo 2 Super: 34B-модель для роботакси с объяснениями решений

NVIDIA представила Alpamayo 2 Super — vision-language-action модель (VLA) с 34B параметров, нацеленную на редкие многолетние сценарии, где классические детекторы пасуют. В основе — 32B VLM бэкбон на базе NVIDIA Cosmos 3 Super Reasoner, дообученный reinforcement learning, и 2.3B диффузионный декодер действий. Модель принимает на вход многокамерное RGB-видео, текст и историю эгомоции с метками времени, а на выходе выдаёт траекторию из 64 точек (до 6.4 секунд), объяснение решения (CoC), мета-действие (уступи, перестройся) и ответы на вопросы с 2D-локализацией.

Веса распространяются по лицензии OpenMDW-1.1 (от Linux Foundation, коммерческая, разрешает дообучение и редистрибуцию), код — Apache 2.0. Это значит, что Alpamayo 2 Super можно использовать в продакшне с первого дня, включая роботакси. По данным NVIDIA, модель на LingoQA набрала 79.2 балла Lingo-Judge, заняв первое место среди почти 40 моделей. Она обогнала Qwen2.5-VL 72B на 17.0 балла, Gemini 2.5 Pro на 15.1, а GPT-4o — на 23.2 балла.

Обучение проведено на ~115 000 часов многокамерного видео с аннотациями траекторий и эгомоции, включая 3,7 миллиона цепочек причинности (Chain-of-Causation). В закрытом цикле на 910 сценариях из PhysicalAI-AV-NuRec модель получила AlpaSim score 1.50±0.13. В открытом цикле на 937 сложных примерах из PhysicalAI-AV — minADE₆ 0.911 м. Модель также может работать как авто-лейблер, сокращая цикл аннотации с месяцев до дней. CoC-трейсы интегрируются с валидацией безопасности NVIDIA Halos и соответствуют стандарту ISO/PAS 8800.