MCP против CLI+Skill: бенчмарк Яндекса показал, какой интерфейс выгоднее для ИИ-агента

Команда разработки партнёрских продуктов Городских сервисов Яндекса провела бенчмарк двух способов подключения ИИ-агента к внутренним API: протокол MCP (Model Context Protocol) и связка CLI-команд + Skill. Идея родилась из практической проблемы: контекстное окно агента ограничено, а накладные расходы на описания инструментов и параметры вызовов съедают ресурс, который мог бы уйти на решение задачи.

Исследователи собрали 14 сценариев, прогнали более 400 запросов на двух моделях — и в процессе эксперимента столкнулись с неожиданными поломками. Оказалось, что при определённых условиях оба подхода ведут себя по-разному, и это дало важные инсайты. В итоге получилось дерево решений, которое помогает выбрать интерфейс в зависимости от задачи.

Детали бенчмарка и конкретные цифры — в полной статье Даниила Михайлова на Хабре. Главный вывод: нет единственно верного подхода, всё упирается в соотношение накладных расходов и надёжности выполнения.