5 движков, 1 resnet: битва inference-рантаймов 2026

Авторы протестировали ResNet-50 в 46 конфигурациях на популярных рантаймах для инференса: PyTorch, ONNX Runtime, OpenVINO, TensorRT и TVM. Цель — понять, какой движок даёт максимальную производительность на CPU и GPU.

Ключевые результаты: ONNX Runtime в связке с INT8-оптимизацией ускоряет инференс на CPU в 4 раза относительно базового PyTorch. На GPU лидирует TensorRT — прирост до 6 раз. OpenVINO и TVM тоже показали хорошие результаты, но уступили лидерам.

Исходный код всех тестов прилагается к статье — можно самостоятельно повторить замеры и выбрать оптимальный рантайм для своей задачи. Это практическое руководство для тех, кто хочет выжать максимум из existing-моделей.