Как запустить мини-версию Cosmos 3 на Colab: туториал NVIDIA с Mixture-of-Transformers

NVIDIA представила туториал по фреймворку Cosmos-Framework, ориентированный на запуск в Google Colab. Авторы честно признают, что полный инференс Cosmos 3 (16B+ параметров) на стандартном Colab-железе невозможен из-за недостатка GPU-памяти (нужно ≥80 GiB) и дискового пространства (~150 GiB). Вместо этого они предлагают построить миниатюрную версию модели, сохраняющую ключевую архитектурную идею: shared cross-modal attention с modality-specific expert routing для текста, изображений и действий.

Туториал включает проверку окружения (Python, PyTorch, CUDA, GPU, диск), клонирование репозитория cosmos-framework и пошаговое создание компактной omnimodal Mixture-of-Transformers модели. На синтетических данных физического мира модель обучается с отслеживанием лосса и авторегрессионным развёртыванием, демонстрируя способность предсказывать будущие латентные состояния. Код полностью совместим с Colab и не требует дорогостоящего оборудования.

Этот материал будет полезен разработчикам и исследователям, которые хотят понять внутреннее устройство Cosmos 3 без необходимости арендовать кластеры. Туториал даёт практический опыт работы с мультимодальными трансформерами и может служить отправной точкой для экспериментов в области world models и робототехники.