MORPHEUS: новый бенчмарк для ИИ-агентов, которые никогда не перезагружаются

Большинство RL-бенчмарков сбрасывают мир после каждого эпизода. В реальности так не бывает: решения накапливаются, среда меняется. Skyfall AI запустила MORPHEUS — платформу для continual reinforcement learning (CRL), которая заставляет агента учиться в нестационарной среде без перезагрузок.

Архитектура построена на Big World Hypothesis (Джавед и Саттон, 2024): сложность мира превышает возможности агента, поэтому даже при фиксированной динамике среда выглядит нестационарной. MORPHEUS гарантирует три свойства: персистентность (прошлые решения влияют на будущее), нестационарность (любая фиксированная политика со временем становится неоптимальной) и операционную сложность (нет единой оптимальной политики).

Нестационарность создаётся двумя движками: инжектор отказов (11 типов сбоев, от missing_data до rate_limit, с частотой от 5% до 30%) и асинхронный контроллер конфигураций, меняющий параметры в фиксированные моменты независимо от цикла обучения. Вознаграждение складывается из трёх компонентов: сигналы об отказах, финансовый баланс и пропускная способность ресурсов (веса по умолчанию: 0.5, 0.25, 0.25).

Из-за большого пространства действий обучение с нуля невозможно. MORPHEUS использует двухэтапный пайплайн: фронтир-модель (Gemini 3.1 pro) собирает траектории через ReAct, затем Qwen3-14B дообучается supervised fine-tuning. Все baseline стартуют с этого чекпоинта. Оценка ведётся по шести метрикам, включая скорость адаптации (главная), забывание и стабильность. Протестированы четыре семейства алгоритмов на двух задачах: динамическое распределение ресурсов и планирование с отложенными эффектами.