Одна рецептура для семи миров: JEPA-Anything строит универсальные модели реальности

Вместо того чтобы каждый раз придумывать новую модель под конкретную область, JEPA-Anything применяет единый рецепт обучения к совершенно разным системам. В основе лежит расширение JEPA-архитектур (joint-embedding predictive architectures) методом ортогональной предиктивной факторизации (OPF). Авторы протестировали подход на семи доменах: зрение, биология, клинические траектории, управление, молекулярная динамика, физические поля и погода.

Проблема классических JEPA вроде I-JEPA или V-JEPA 2 — в том, что один предиктор выдает единое монолитное целевое представление. Из-за этого высоковариативные структуры доминируют, а менее выраженные моды получают конфликтующие градиенты. OPF решает это расщеплением латентного пространства на K подпространств (обычно K=4), каждое со своим предиктором, и последующей сборкой через псевдообратную Мура-Пенроуза. Три регуляризатора — ортогональность, активность факторов и дисперсия энкодера — не дают факторам вырождаться. В тестах на CITRIS Interventional Pong ортогональная версия достигла числа обусловленности 1.00005 против 438.52 у обычной мультиголовой модели, а перекрытие факторов оказалось почти нулевым.