Vercel Labs открыла agent-desktop: ИИ-агенты управляют нативными приложениями без скриншотов и GPU

Vercel Labs представила agent-desktop — открытую утилиту командной строки на Rust, которая позволяет ИИ-агентам взаимодействовать с нативными приложениями напрямую через accessibility-дерево ОС, а не через скриншоты. Агент получает JSON-слепок с уникальными ссылками на каждый элемент интерфейса и может выполнять действия без захвата фокуса или движения мыши — пользователь продолжает работать параллельно.

Инструмент поддерживает macOS 13+, Windows 10 1809+ и Ubuntu 24.04+ на архитектурах x64 и ARM64. Для работы не нужен GPU — достаточно обычного CPU. agent-desktop не содержит встроенной LLM и не имеет графического интерфейса: каждый вызов команды возвращает JSON и завершается. Разработчики могут подключать его к любому shell-совместимому кодинговому агенту, заменяя дорогие vision-модели.

Особенность agent-desktop — скелетный обход интерфейса: при --skeleton снимок читает только три уровня вложенности, а для глубоких регионов выдаёт drill-ссылку. По заявлениям Vercel Labs, это сокращает расход токенов на 78–96% в плотных Electron-приложениях вроде Slack, VS Code и Notion. Например, в Apple Maps один снимок уменьшился с 3 811 до 273 токенов, а 52-шаговая задача — с 198 000 до 31 000 токенов. Данные не подтверждены независимым бенчмарком.

agent-desktop распространяется под лицензией Apache-2.0, версия 1.0.2 вышла 30 октября 2026 года. Репозиторий включает Rust CLI и C-библиотеку с 60 командами. Разработчики подчёркивают детерминированность и безопасность повторных попыток: система строго проверяет ссылки и отвергает неоднозначные цели, а ошибки содержат указания, можно ли безопасно повторить действие.