Robbyant выпустил LingBot-World-Infinity: интерактивный симулятор мира на 14B параметров с антидрифтом

Robbyant, подразделение Ant Group по воплощённому интеллекту, представило LingBot-World-Infinity (LingBot-World 2.0) — каузальную модель генерации видео, которая работает как интерактивный симулятор мира. Она генерирует каждый кадр в зависимости от предыдущих кадров и текущего действия пользователя, объединяя позу камеры (через Plücker-эмбеддинги) и текстовый запрос. Модель решает две ключевые проблемы: долгосрочный дрейф (когда качество видео деградирует на длинных последовательностях) и интерактивную латентность.

Ключевое архитектурное новшество — Mixture of Bidirectional and Autoregressive (MoBA) Attention Mask. Оно добавляет к стандартной маске teacher forcing блок полного внимания (bidirectional), который работает как регуляризатор и позволяет модели генерировать последовательности произвольной длины без ухудшения качества. Обучение двухэтапное: сначала conditional flow-matching, затем дистилляция через consistency distillation и distribution matching distillation (DMD), причём DMD применяется к длинным самопрогонам, а не только к teacher-forced состояниям — именно это, по заявлению исследователей, предотвращает дрейф.

Модель также поставляется с агентным харнессом Director-Pilot Co-Simulation Framework: Vision-Language Model (директор) управляет семантическими правилами и причинно-следственными связями, а диффузионный трансформер (пилот) симулирует физику и рендеринг. Пользователь может взаимодействовать напрямую через текстовые запросы или через объектный трекинг на основе SAM (Segment Anything Model) — например, открывать дверь или вращать мяч. Основная версия — 14B параметров, лёгкая (1.3B) помещается на один GPU и выводит 720p @ 60fps.

Новинка расширяет пространство действий по сравнению с предыдущей версией: теперь поддерживаются атаки, стрельба из лука, заклинания и стрельба. Уникальной особенностью назван «anti-drift» за счёт DMD на самопрогонах — модель оптимизируется на своём же распределении предсказаний, а не только на Teacher Forced. Это делает её пригодной для интерактивных сценариев с бесконечным горизонтом взаимодействия.