Оригинальное название: Hybrid Computer Use: A Unified Programmatic, Semantic, and Visual Interface for General Agents
Hybrid Computer Use (HCU), предложенный Microsoft Research и другими авторами. Авторы считают, что интерфейс управления компьютером, основанный только на скриншотах и вводе с мыши и клавиатуры, навязывает моделям привычки «как люди используют компьютер»: приходится постоянно смотреть на экран, что также упускает возможности семантического и программного взаимодействия, заложенные в самой системе. HCU объединяет три канала в единый интерфейс: программный канал (встроенные в агента инструменты shell и работы с файлами), семантический канал AX (чтение упрощенного дерева доступности, использование коротких ссылок вида a1, r12, возможность пакетного выполнения до 64 действий за один вызов с ожиданием внутри вызова и возвратом diff дерева доступности), визуальный канал GUI (полноэкранные скриншоты, локальное увеличение, пакетный ввод с мыши и клавиатуры). Перед каждой отправкой ввода проверяется, совпадают ли целевой элемент управления и расположение окон с планом; если интерфейс изменился, выполнение отклоняется, чтобы предотвратить ошибочные клики после переключения каналов. Также прилагается описание навыков, обучающее агентов выбирать и комбинировать каналы. Код представляет собой открытый сервис MCP computer-use.
Почему это важно Управление только через скриншоты и клики медленно и дорого; интерфейсы, способные читать структуру интерфейса и выполнять пакетные операции, позволяют той же модели работать быстрее и экономичнее
Лайков 10 · Звезд на GitHub 22
Аргументы
- Авторы утверждают, что при неизменных модели, фреймворке, задачах и бюджете шагов, но с заменой только интерфейса: на OSWorld 2.0 (задачи 108, GPT-6 Astra) частичный балл составляет 72.37% против 68.82% у CUA Driver; на OSWorld 1.0 (GPT-5.4) результат 70.13% против 62.47%, при этом стоимость ниже на 59.1%; на Windows Agent Arena результат 80.86% против 71.89%, при этом стоимость ниже на 50.6%. На OSWorld 2.0 с использованием Claude Opus 5 бинарный балл составляет 35.19%, что является самым высоким среди всех участвующих в оценке систем.
- Авторы утверждают, что на OSWorld 1.0 четыре передовые модели (GPT-5.4, Claude Opus 5.5, Gemini 3.8 Flash, Grok 4.7) в среднем улучшили результат на 6.48 балла, сократив количество шагов на 17% и стоимость на 30%; разные модели распределяют работу между тремя каналами по-разному, но все получают выгоду.
- Для потенциальных пользователей это очень практично: сервис MCP можно подключить к Codex, Claude Code, Gemini CLI, Grok Build, также доступны командная строка и Python SDK (использующие один и тот же демон); лицензия MIT, количество звезд на GitHub 22 (отражает только уровень внимания).
Использование
- Сборка: после make build-local (Linux, Go 1.22+) выполните make smoke для проверки того, что MCP предоставляет доступ к AX и GUI; для macOS используйте make build-macos (Swift 6.2+), для Windows — make build-windows (.NET 8, PowerShell 7); запустите artifacts/computer-use doctor от имени пользователя, вошедшего в систему, чтобы проверить права и зависимости.
- Подключение агента: в Codex добавьте в ~/.codex/config.toml секцию [mcp_servers.computer_use], указав в command абсолютный путь к artifacts/computer-use и args = ["mcp"]; для Claude Code используйте команду claude mcp add computer_use -- python3 <репозиторий>/osworld/guest_files/claude_mcp_schema_adapter.py <путь>/computer-use mcp; команда python3 -m hcu.render_agent_config может сгенерировать полную конфигурацию и сопутствующие инструкции для четырех типов агентов.
- Скрипты: computer-use apps выводит список окон, computer-use find w1 --role button --name-has Save находит элемент управления, computer-use click r12 --wait '{"window":"Save"}' выполняет клик и ожидает появления окна; для Python используйте hcu_sdk из sdk/python.
Риски
- Система отправляет реальный ввод на текущий рабочий стол пользователя; авторы рекомендуют выполнять недоверенные задачи на выделенном рабочем столе или в одноразовой виртуальной машине.
- Оценочные показатели заявлены самими авторами, в качестве контрольного интерфейса использовался только CUA Driver; в MacAgentBench было оценено только 28 задач из подмножества UI. Права на доступность и создание скриншотов для различных систем необходимо настраивать отдельно согласно docs/PLATFORMS.md в репозитории.