CLiF от CopilotKit: open-source платформа, которая учит агентов на действиях пользователей — трассы в скиллы и данные для дообучения

Команды, которые выводят ИИ-агентов в продакшен, сталкиваются с одной и той же проблемой: даже агенты на топовых моделях вроде Fable и Astra плохо справляются со сложными многошаговыми задачами в конкретном продукте. Разработчики вручную пишут сотни и тысячи eval-кейсов, правят промпты и обходные пути, пока агент не проходит достаточно тестов. При этом реальные пользователи ежедневно выполняют те же задачи идеально — но их действия почти никогда не записываются в форме, пригодной для обучения агента.

CLiF решает эту проблему с помощью «полного стекового трейса» (full-stack trajectory). Платформа использует протокол AG-UI (Agent-User Interaction Protocol), который находится между агентом и пользователем и видит обе стороны: все вызовы инструментов, состояния агента и одновременно — что пользователь видит на экране, какие кнопки нажимает, какие запросы отправляет на сервер. Диалог пользователя с агентом тоже ложится на ту же временную линию. Всё это собирается в одну сессию, которую можно воспроизвести по шагам.

На основе собранных трасс CLiF запускает четырехэтапный цикл автоматического обучения: извлекает навыки (skills), генерирует eval-тесты на реальных production-данных, создает датасеты для fine-tuning и экспортирует сырые трассы. Каждый навык проходит проверку человеком. Платформа работает полностью self-hosted, решая проблемы eval-ов, раздувания контекста, стоимости, фрагментированных стеков и теневого использования ИИ (shadow AI).

CopilotKit — открытый проект (репозиторий на GitHub с 38 000+ звезд). CLiF уже доступен в раннем доступе как часть CopilotKit Intelligence.