Маршрутизация моделей в продакшне: IBM Research объясняет, почему это не просто выбор «дешевая дорогая»

На первый взгляд, маршрутизация между языковыми моделями кажется тривиальной: простые запросы отправляются дешевым моделям, сложные — дорогим, плюс можно выбирать специализированные модели для кода, изображений или документов. Однако исследователи IBM Research показали, что в реальных агентных системах эта схема рушится.

Проблема в том, что задача, которая выглядит как выбор подходящей модели, на деле превращается в оптимизацию всей системы. Маршрутизатору приходится одновременно учитывать качество ответа, стоимость вызова, время задержки, текущее состояние инфраструктуры и наложенные ограничения. Без системного подхода простая маршрутизация не работает в продакшне.

Выводы исследователей подчеркивают: эффективная маршрутизация требует не просто категоризации запросов, а полноценного управления ресурсами и балансировки между производительностью и затратами в реальном времени.