World Models без учёта человеческих убеждений предсказывают неверные действия — новое исследование

Современные world-модели, такие как Sora от OpenAI и Genie от DeepMind, моделируют только физические законы — движение, гравитацию, столкновения. Они полностью игнорируют то, что люди думают, хотят или чувствуют. Это приводит к тому, что предсказания таких моделей расходятся с реальным поведением агентов, действующих на основе убеждений и намерений.

В новом исследовании представлен фреймворк Mental World Modeling (MWM), который добавляет в модель ментальные переменные — убеждения и интенции. Даже слабые языковые модели, использующие этот подход, outperform (превосходят) более сильные модели, которые не учитывают ментальные состояния. Ключевое узкое место подхода — предсказание того, как физическое и ментальное состояния изменяются совместно, что открывает направление для дальнейших исследований.