JOLT от Perplexity и NVIDIA: метод пост-тренинга, где модель учится сама у себя, экономя 6,5× токенов

JOLT (Joint On-policy Learning and Teaching) решает проблему разреженности наград в RL-посттренинге. В стандартных методах вроде GRPO модель получает одну оценку за всю попытку, что неэффективно для длинных агентских задач. JOLT использует одну модель в двух ролях: учитель получает привилегированную информацию (например, верное решение) и генерирует токен-уровневые сигналы для студента, который видит только задачу. При этом учитель тоже обучается, чтобы его подсказки оставались достижимыми для студента.

Метод протестирован на моделях Qwen3 (от 0,6B до 30B) и DeepSeek-V2-Lite. JOLT+ (версия с дополнительной наградой студента) показал лучшие средние результаты во всех сценариях против GRPO, OPSD и π-Distill. Например, на бенчмарке AppWorld JOLT+ достиг 72,09% pass rate, тогда как GRPO — 62,20%. При этом JOLT без студенческой награды показал 51,92%, уступив GRPO.

Ключевое преимущество JOLT — эффективность: на MATH он повторил точность GRPO, обработав в 6,5 раз меньше токенов. Для команд, занимающихся RL-постренингом, это прямое сокращение вычислительных затрат. Исследователи отмечают, что JOLT строит «согласованного по награде» учителя, чьи обновления указывают в том же направлении, что и градиент награды студента.