Как обучить робота на 707 ГБ данных NVIDIA, не скачивая их: стриминговый пайплайн

NVIDIA выложила датасет Cosmos3-DROID для обучения роботов — это 707 ГБ данных. Скачивать всё целиком не нужно: автор туториала строит стриминговый конвейер, который работает с репозиторием прямо на Hugging Face Hub. Сначала он разбирает структуру LeRobotDataset v3.0 и собирает граф метаданных из info.json, описаний задач, таблиц эпизодов и статистики датасета.

Затем через HTTP byte-range и PyArrow выборочно читаются только нужные колонки и группы строк из Parquet-файлов — для эксперимента берутся 48 успешных эпизодов. Из них формируются траектории состояние-действие, анализируются движения суставов, срабатывания схвата и траектории конечного эффектора. Видео в формате AV1 декодируется только для нужных окон через PyAV/FFmpeg на основе seek-доступа.

Наблюдения и действия нормализуются по статистике датасета, после чего собирается PyTorch-датасет в стиле ACT с опциональным визуальным кондиционированием (для 6 эпизодов используются изображения 96×96). На нём обучается мультимодальная политика поведенческого клонирования. Оценка выполняется в open-loop режиме с временны́м ансамблированием чанков действий: считаются MSE и R² по каждому суставу относительно бейзлайна mean-action, результаты визуализируются, а финальный чекпоинт сохраняется.