Ant Group показала LingBot-VA 2.0 — причинную видеомодель действий, обученную с нуля под физический ИИ

Robbyant, подразделение Ant Group по воплощённому ИИ, представил LingBot-VA 2.0 — первую фундаментальную модель для роботов, предобученную с нуля под задачи физического ИИ, а не путём донастройки генератора видео. В отличие от типовых подходов, копирующих компоненты для генерации контента (VAE реконструкции + двунаправленный диффузионный бекбон с прикреплённым модулем действий), здесь весь стек претрейна заточен под embodiment: скрытые представления несут не только внешность пикселей, но и физическую структуру, а вывод — каузальный, а не двухпроходной.

Первая стадия — семантический токенайзер LingBot-VA 1.0: к реконструкции добавили семантическое выравнивание по замороженному Perception Encoder и латентно-объективную цель (действие как переход между соседними латентами). Благодаря этому неразмеченное веб-видео стало нести супервизию о действиях. Версия 2.0 строит на этом пространстве каузальный DiT с Mixture-of-Transformers: видео-эксперт (≈13 млрд параметров, ~1,9 млрд активных) использует разреженный MoE (128 экспертов, top-8 + общий), а эксперту действий оставлен плотный FFN на 768. Суммарно обучение идёт на ~15,3 млрд параметров, на инференсе активно ~2,5 млрд.

Чтобы модель училась не копировать содержимое, а предсказывать будущее, применили мультикластерное предсказание (MCP): три лёгких модуля прогнозируют следующие три чанка. Это дало ускорение обучения в 2,3 раза. Всё пять целей (T2I, T2V, TI2VA, ICL и обучение робота с человеком) тренируются совместно, без затухания ранних априоров. Планирование — иерархическое: поверх политики работает VLM-планнер на LoRA, выдающий структурированный JSON на частоте ~2 Гц; его задержка не блокирует исполнение. Асинхронное упреждающее рассуждение (Foresight Reasoning) вообще разделяет предсказание и исполнение — видео-эксперт строит образы будущего, пока робот выполняет текущий чанк.

Исходная статья и код — в репозитории: github.com/Robbyant/lingbot-va