Alibaba представила QwenGyre — эластичный RL для агентов на сверхдлинных горизонтах

Команда Qwen из Alibaba выпустила QwenGyre — онлайн-фреймворк обучения с подкреплением для агентов кодирования, работающих через немодифицированные чёрные ящики (обвязки вроде Claude Code). Система рассчитана на роллауты длительностью в часы и почти миллион токенов: проверяли её на Qwen 3.6 122B и флагманской Qwen 3.8 2.4T с ~700 тыс. токенов за роллаут.

В основе две идеи: эластичный планировщик перемещает простаивающие GPU между роллаутами и обучением, а процессор траекторий превращает ветвящуюся историю агента (сжатие контекста, субагенты, ретраи) в ограниченные сбалансированные сэмплы. Для этого GPU делятся на ячейки: часть обслуживает роллауты, часть держит реплику обучения. При переключении KV-кэш мигрирует по RDMA, сателлиты подтягивают веса через Mooncake, а среднее время переключения составляет 8,52 с (роллаут→обучение) и 3,46 с (обучение→роллаут).

На бенчмарках с равными бюджетами GPU QwenGyre оказался в 1,38–1,78 раза быстрее Async и в 1,21–1,85 раза быстрее Colocate при одинаковых баллах. Лучший результат — 1,85x на TerminalBench, скромнее всего — 1,21x на модели 2.4T, где много запросов упиралось в таймаут. На NL2RepoBench точность выросла с 52,5% до 58,5% за 48 шагов. Кода в открытом доступе пока нет.