NVIDIA IsaacTeleop: как превратить трекинг рук в команды для роботов без гарнитуры

NVIDIA IsaacTeleop — фреймворк, который преобразует данные отслеживания рук и контроллеров из XR-устройств в команды для симулированных и реальных роботов. В новом туториале авторы разбирают его ядро — ретаргетинговый движок, но делают это без подключения гарнитуры: все входные данные генерируются синтетически через NumPy, а код выполняется на обычном Colab CPU.

Шаг за шагом показывается, как устроена система типов (TensorGroup, OptionalTensorGroup), как создать собственный ретартер с настраиваемыми параметрами, как задействовать встроенные ретартеры для захвата и SE(3), и как собрать полный граф, который на каждом шаге выдаёт вектор действия. Также рассматривается преобразование мировых координат, управление состоянием машины и отображение контроллера на кисть руки с сохранением настроек между перезапусками.

Материал будет полезен разработчикам, которые хотят разобраться в механике телеоперации роботов без привязки к конкретному VR-железу. Весь код открыт и доступен для экспериментов.