Исследования
MCP против CLI+Skill: бенчмарк Яндекса показал, какой интерфейс выгоднее для ИИ-агента
Инженеры Яндекса изучили накладные расходы токенов при работе ИИ-агента с внутренними API. Они сравнили два подхода: MCP (Model Context Protocol) и CLI+Skill — и построили бенчмарк из 14 сценариев на реальных инструментах, прогнав более 400 запросов на двух моделях.
Тесты неожиданно «сломались» в ходе эксперимента: то, что работало, перестало давать результаты, и пришлось разбираться в причинах. Это привело к пересмотру гипотезы и позволило выявить, какой метод эффективнее в разных условиях.
Итогом стало дерево решений, помогающее выбрать подход в зависимости от задачи: когда выгоднее MCP, а когда — CLI+Skill. Статья будет полезна разработчикам агентов, которые хотят экономить контекст и избегать лишних трат токенов.
Источник: habr.com