Туториал по LingBot-Map: как собрать 3D-сцену из видео с учётом GPU и выгрузить облако точек

LingBot-Map — это модель для потоковой 3D-реконструкции из изображений или видео. В туториале показан полный пайплайн: от настройки источника и выбора чекпоинта до смешанной точности инференса, декодирования поз камеры и конвертации карт глубины в облака точек в мировых координатах.

Ключевая фишка — автоматическая адаптация под GPU: скрипт определяет объём VRAM и подбирает лимиты кадров, число итераций камеры, масштаб кадров и размер KV-кэша. Это позволяет запускать модель даже на картах с ограниченной памятью без ручного тюнинга.

После установки зависимостей и загрузки чекпоинта (4,6 ГБ) пользователь может обработать папку с изображениями или видео, настроить параметры в конфиге (например, stride, keyframe_interval, conf_percentile) и экспортировать результат в форматы PLY, NPZ или GLB. Встроенная визуализация через Viser помогает проверить геометрию и траекторию камеры.

Туториал рассчитан на Colab с GPU — без CUDA модель не запустится. Все шаги даны с готовым кодом и конфигом, что делает его доступным для быстрого воспроизведения.