Cisco AI представила FAPO: открытый оптимизатор промптов для LLM-пайплайнов на базе Claude Code

Cisco AI представила FAPO (Fully Automated Prompt Optimization) — открытый фреймворк под Apache 2.0, который автоматически оптимизирует промпты в многошаговых LLM-пайплайнах. Система работает на базе Claude Code: вы даёте датасет и начальный промпт, а FAPO самостоятельно оценивает, классифицирует ошибки, генерирует варианты, проверяет их и повторяет цикл до достижения целевой точности.

Архитектура FAPO построена на трёх уровнях эскалации: сначала правки промпта, затем параметров (например, retrieval_k или temperature), и только потом — изменения структуры пайплайна (добавление узла рефлексии или смена паттерна). Ошибки делятся на четыре класса: проблемы с извлечением, каскадные сбои, форматные ошибки и логические провалы. Каждый вариант проходит независимую проверку на переобучение и утечку данных.

В тестах Cisco FAPO показала +14.1 процентных пункта среднего прироста против GEPA (state-of-the-art оптимизатор) на 15 из 18 модельно-бенчмарковых пар. На двух бенчмарках (HoVer и IFBench), где FAPO перешла к изменению пайплайна, выигрыш составил +33.8 п.п. Единственная победа GEPA — AIME, но в пределах шума выборки. FAPO поддерживает провайдеров OpenAI, Baseten и SageMaker, а также LangGraph для исполнения цепочек.