NVIDIA выпустила DeepStream 9.1: агентный ИИ для видеоаналитики с 3D-трекингом и автокалибровкой

DeepStream — это набор инструментов NVIDIA для потоковой видеоаналитики на базе ИИ. Версия 9.1 решает давнюю проблему отслеживания объектов через несколько камер без ручной калибровки. Главные новинки: Multi-View 3D Tracking (MV3DT) и AutoMagicCalib (AMC), которые поставляются как агентные навыки для кодинг-агентов (Claude Code, Codex, Cursor). Разработчики могут описывать намерения на естественном языке и получать готовый пайплайн.

MV3DT проецирует детекции из нескольких камер в единую 3D-систему координат, связывает наблюдения одного объекта и присваивает глобальный ID. Поддерживаются модели PeopleNetTransformer, PeopleNet v2.6.3 и RT-DETR 2D. Результаты выводятся в виде сетки с 2D/3D боксами, топографической карты сверху (BEV) и Kafka-сообщений с метаданными.

AMC автоматически калибрует камеры, анализируя треки объектов в существующих видео. Пайплайн включает извлечение траекторий, одновидовую коррекцию, сопоставление треклетов, bundle adjustment и опциональное уточнение VGGT. Работает как микросервис с REST API и веб-интерфейсом — достаточно загрузить изображение сцены и указать несколько точек привязки.

DeepStream 9.1 также поддерживает NVIDIA JetPack 7.2 для Jetson Orin/Thor и публикует единый открытый репозиторий на GitHub под лицензиями CC-BY-4.0 и Apache-2.0. Это заметный шаг к упрощению разработки мультикамерных систем видеонаблюдения, логистики и промышленного зрения.