NVIDIA Omniverse и ИИ-агенты: как собрать симуляцию по текстовой команде

NVIDIA рассказала, как разработчики используют передовые ИИ-агенты вместе с библиотеками Omniverse, чтобы быстро собирать симуляции. Вместо ручной настройки сцен агенты получают команды на естественном языке, а человек проверяет результат и корректирует дальнейшие шаги. Omniverse при этом отвечает за GPU-ускоренную физику, рендеринг и симуляцию сенсоров.

Первый пример — интерактивный симулятор человекоподобного робота на складе. Продакт-менеджер NVIDIA Фрэнк ДеЛиз поручил Astra соединить физику (ovphysx), обновления сцены (ovstage), рендеринг (ovrtx) и интерфейс (ovui), а также подготовить сцену через SimReady. Второй кейс — тестирование автономного вождения: Доюб Ким, менеджер команды симуляций, с помощью Astra построил среду Zero to Alpamayo на основе Маркет-стрит в Сан-Франциско. Отдельный эксперимент с Cosmos3-Nano менял погоду и освещение в записанных видео, чтобы увидеть реакцию модели на один и тот же сценарий в разных условиях.

Третий проект — сверка цифровых двойников с реальностью. Специалист по RTX-сенсорам Эшли Рид управляла агентами Astra и Claude Fable 5: они сравнивали вывод виртуальных камер и лидара с записанными данными, создавали и правили OpenUSD-сцены, проверяя результат по метрикам. За три дня агенты сделали два новых цифровых двойника с нуля и доработали два существующих — например, добавили пропущенные объекты и скорректировали геометрию. Это даёт разработчикам роботов и беспилотников понятный способ использовать расхождения сенсоров для улучшения сцен.