Исследователи Стэнфорда представили TRACE — систему, которая превращает повторяющиеся ошибки ИИ-агентов в синтетические среды для обучения

Исследователи Стэнфорда обнаружили, что агентные LLM часто повторяют одни и те же ошибки из-за отсутствия конкретных навыков (например, поиск нужной записи или проверка предусловий). Обычные методы — RL с разрежёнными наградами или широкий синтетический датасет — тратят вычислительные ресурсы впустую, не адресуя именно пробелы. Система TRACE (Turning Recurrent Agent failures into Capability-targeted training Environments) решает эту проблему, автоматически выявляя повторяющиеся дефициты и превращая их в отдельные обучающие среды.

Пайплайн TRACE состоит из четырёх шагов. Первый: контрастный анализ способностей — агент генерирует траектории, а аналитический LLM разделяет на успешные и неудачные, помечая каждую пару «траектория-способность» как NA, PRESENT или LACKING. Способность сохраняется, если её контрастный разрыв ≥ 0.20, а покрытие ≥ 0.10. Второй: для каждой способности генерируется синтетическая среда, изолирующая именно её, с процедурной генерацией задач и алгоритмической верификацией — без человеческой разметки или LLM-судьи. Третий: на каждой среде тренируется отдельный LoRA-адаптер через GRPO, при этом базовая модель заморожена. Четвёртый: адаптеры собираются в Mixture-of-Experts с лёгкими токен-уровневыми гейтами — каждый токен выбирает один адаптер (top-1), что позволяет модели переключать эксперты прямо по ходу траектории.

TRACE опубликован с открытой лицензией MIT, что позволяет любому внедрить методику. Система особенно полезна для разработчиков агентов, которые сталкиваются с однотипными сбоями и хотят точечно улучшать поведение без переобучения всей модели.