NVIDIA Dynamo: новый open-source фреймворк для инференса агентов вместо Triton

Александра, Data Scientist из компании «Рафт», разобрала NVIDIA Dynamo — новый open-source фреймворк для инференса, который пришёл на смену Triton Inference Server. Triton, созданный до эпохи агентов, не справлялся с современной нагрузкой: множественные последовательные и параллельные вызовы моделей и инструментов в рамках одной задачи.

Dynamo спроектирован специально под LLM, рассуждающие модели и агентов. Ключевая фича — KV-маршрутизация, которая, по заявлению NVIDIA, ускоряет агентные сценарии. Фреймворк доступен в open source, так что можно проверить это на практике.