原题：Hybrid Computer Use: A Unified Programmatic, Semantic, and Visual Interface for General Agents
微软研究院等提出的 Hybrid Computer Use（HCU）。作者认为只靠截图加鼠标键盘的电脑操作接口，把“人怎么用电脑”的习惯强加给模型：要反复看屏幕，也浪费了系统本身的语义和编程能力。HCU 把三种通道合成一个接口：编程通道（智能体自带的 shell 和文件工具）、语义通道 AX（读精简的无障碍树，用 a1、r12 这类短引用，一次可批量执行最多 64 个动作并在调用内等待，返回 AX diff）、视觉通道 GUI（全屏截图、局部放大、批量鼠标键盘输入）。每次发出输入前都核对目标控件和窗口布局是否还和计划时一致，界面已变就拒绝执行，防止切换通道后点错。另附一份教智能体挑选和组合通道的技能说明。代码就是开源 MCP 服务 computer-use。
为什么重要 只靠截图点按又慢又贵；能读界面结构、批量操作的接口让同一个模型做得更快更省
点赞 10 · 代码星数 22
理由
- 作者称在模型、框架、题目和步数预算都不变、只换接口的条件下：OSWorld 2.0（108 题，GPT-6 Astra）部分得分 72.37% 对 CUA Driver 的 68.82%；OSWorld 1.0（GPT-5.4）70.13% 对 62.47%、成本低 59.1%；Windows Agent Arena 80.86% 对 71.89%、成本低 50.6%。OSWorld 2.0 上配 Claude Opus 5 的二元得分 35.19%，是全量参评系统里最高。
- 作者称在 OSWorld 1.0 上四个前沿模型（GPT-5.4、Claude Opus 5.5、Gemini 3.8 Flash、Grok 4.7）平均提高 6.48 分，步数少 17%、成本低 30%；不同模型在三个通道间分配工作的方式不同，但都受益。
- 对用得上的人很直接：MCP 服务能接 Codex、Claude Code、Gemini CLI、Grok Build，也有命令行和 Python SDK（共用同一个守护进程）；MIT 许可，代码星数 22（只代表关注度）。
用法
- 构建：make build-local（Linux，Go 1.22+）后 make smoke 检查 MCP 是否暴露 AX 和 GUI；macOS 用 make build-macos（Swift 6.2+），Windows 用 make build-windows（.NET 8、PowerShell 7）；以登录桌面的用户运行 artifacts/computer-use doctor 检查权限和依赖。
- 接智能体：Codex 在 ~/.codex/config.toml 加 [mcp_servers.computer_use]，command 指向 artifacts/computer-use 的绝对路径、args = ["mcp"]；Claude Code 用 claude mcp add computer_use -- python3 <仓库>/osworld/guest_files/claude_mcp_schema_adapter.py <路径>/computer-use mcp；python3 -m hcu.render_agent_config 能为四种智能体生成完整配置和配套指令。
- 脚本化：computer-use apps 列窗口，computer-use find w1 --role button --name-has Save 找控件，computer-use click r12 --wait '{"window":"Save"}' 点击并等待窗口出现；Python 用 sdk/python 里的 hcu_sdk。
风险
- 它会向当前登录的桌面发送真实输入；作者建议不可信任务放在专用桌面或一次性虚拟机里。
- 评测数字是作者自报，对照接口只有 CUA Driver 一种；MacAgentBench 只评了 UI 子集的 28 题。各系统的无障碍和截屏权限要按仓库 docs/PLATFORMS.md 单独配置。