Ant Group открыла LingBot-Vision: 1B-модель, которая видит границы объектов как люди

Robbyant, дочерняя компания Ant Group (Alibaba), представила LingBot-Vision — семейство моделей компьютерного зрения для плотного пространственного восприятия. Архитектура — self-supervised Vision Transformers, обученные с акцентом на границы объектов, а не на семантическую инвариантность, как большинство современных foundation models. Это критически важно для роботов и других физически воплощённых систем, где нужно точно знать, где заканчивается объект и начинается фон.

Модель доступна на Hugging Face под лицензией Apache-2.0 в четырёх размерах: ViT-giant (1.1B), ViT-large (300M), ViT-base (86M) и ViT-small. Флагман обучен на 161 млн изображений (выборка из 2B веб-изображений) без человеческих разметок и внешних детекторов границ. Ключевое новшество — метод Masked Boundary Modeling: teacher сеть онлайн предсказывает границы и принудительно включает токены на границах в маску student'a, давая им дополнительный геометрический target. Это позволяет модели одновременно учить семантику и пространственную структуру, не жертвуя одним ради другого.

На тестах плотных пространственных задач LingBot-Vision ViT-giant на уровне или превосходит модели до 7× большего размера, включая 7B DINOv3, при этом потребляя менее трети обучающих сэмплов (161M против 1689M у DINOv3). Границы моделей аппроксимируются как категориальное поле — каждый пиксель кодируется вектором расстояния и углов, разбитым на 32 бина, что позволяет стабилизировать обучение через классификацию вместо регрессии. Для детекции ложных границ используется Number-of-False-Alarms (NFA) тест.