Собираем 3D-сканер комнаты из видео на телефоне: SAM, CLIP и DINOv2 без дообучения

Если нужно спроектировать мебель для комнаты, но не хочется возиться с рулеткой, можно просто снять пространство на телефон и доверить алгоритмам всю рутину. Автор статьи на Хабре подробно описывает, как превратить облако точек в семантически размеченную 3D-модель, масштабировать её до реальных размеров и получить готовый чертёж.

Весь фокус — в правильной оркестрации трёх готовых моделей: SAM (сегментация), CLIP (понимание семантики) и DINOv2 (извлечение признаков). Никакого дообучения не требуется — модели используются «как есть». Результат — умная 3D-модель, которую можно использовать для дизайна интерьера или планировки.

Этот подход особенно полезен для тех, кто хочет автоматизировать замеры и получить семантически богатое представление пространства без сложной инфраструктуры. Всё, что нужно — смартфон и немного терпения.