Mistral AI выпустила Robostral Navigate: робот-навигатор с одной камерой и 76,6% точности

Mistral AI выпустила Robostral Navigate — свою первую модель для воплощённой навигации. Это 8B-модель, которая принимает на вход RGB-изображения и текстовую инструкцию на естественном языке, а затем самостоятельно перемещает робота по сложным средам: офисам, жилым домам, коммерческим и наружным пространствам. Например, инструкция может быть такой: «Выйди из вестибюля, пройди по коридору, войди в подсобку и встань лицом ко второй полке». Модель справляется с живыми сценариями, где встречаются люди и препятствия, не встречавшиеся в обучении.

Ключевая особенность — использование всего одной обычной RGB-камеры без глубинных сенсоров или LiDAR. Большинство навигационных систем требуют нескольких камер или лидаров, что увеличивает стоимость и энергопотребление. Robostral Navigate обходится одним сенсором, становясь эффективнее.

Для выбора каждого следующего шага модель использует метод «pointing»: она предсказывает координаты цели на текущем изображении и желаемую ориентацию по прибытии. Это устойчиво к изменениям калибровки камеры и масштаба мира. Если цель выходит за пределы поля зрения, модель переключается на команды в локальной системе координат робота (например, «двигайся на 2 метра вперёд, 1,5 метра влево и поверни на 25 градусов влево») — такой гибридный подход обеспечивает надёжность в разных сценариях.