Code-as-World: ИИ научился превращать видео в физические симуляции MuJoCo

Исследователи из MirroS предложили новый способ представления физического мира: вместо пикселей, латентных векторов или текстовых описаний они используют исполняемый код. Парадигма Code-as-World создаёт scene.json, который MuJoCo может запустить как симуляцию, а агент — проверить по исходному видео. Цикл из до пяти итераций восстанавливает физическую программу из реальной съёмки.

На таких верифицированных мирах модель обучается с точными физическими метками, которых нет в обычных видео. Флагманская модель Code-as-World-VL-9B (дообученная на Qwen3.5-9B) показала 55.4 MRA на валидации QuantiPhy — это выше Gemini 3.1 Flash (54.8) и примерно на 15 пунктов лучше сильнейших открытых моделей.

Релиз полностью открыт: на GitHub выложены чекпоинты Code-as-World-VL-4B и Code-as-World-VL-9B под лицензией Apache 2.0. Обе модели в формате BF16 safetensors, работают через vLLM с OpenAI-совместимым эндпоинтом /v1, используют 16 кадров на видео и max-model-len 4608. Пока это исследовательский прототип, но уже пригодный для внутренних экспериментов.