Tựa đề gốc: Hybrid Computer Use: A Unified Programmatic, Semantic, and Visual Interface for General Agents
Hybrid Computer Use (HCU) do Microsoft Research và các cộng sự đề xuất. Các tác giả cho rằng giao diện điều khiển máy tính chỉ dựa vào ảnh chụp màn hình cùng chuột và bàn phím áp đặt thói quen "con người sử dụng máy tính" lên mô hình: đòi hỏi phải liên tục xem màn hình, đồng thời lãng phí khả năng ngữ nghĩa và lập trình vốn có của hệ thống. HCU hợp nhất ba kênh thành một giao diện duy nhất: kênh lập trình (shell và công cụ tệp tích hợp sẵn của tác nhân), kênh ngữ nghĩa AX (đọc cây trợ năng đã được tinh gọn, sử dụng các tham chiếu ngắn như a1, r12, có thể thực thi hàng loạt tối đa 64 hành động trong một lần gọi và chờ đợi trong phạm vi lệnh gọi đó, trả về sự khác biệt AX), kênh thị giác GUI (chụp toàn màn hình, phóng to cục bộ, nhập liệu hàng loạt bằng chuột và bàn phím). Trước mỗi lần gửi đầu vào, hệ thống đều kiểm tra xem điều khiển mục tiêu và bố cục cửa sổ còn khớp với kế hoạch hay không; nếu giao diện đã thay đổi thì từ chối thực thi, nhằm tránh nhầm lẫn khi chuyển đổi giữa các kênh. Kèm theo đó là một hướng dẫn kỹ năng dạy tác nhân cách lựa chọn và kết hợp các kênh. Mã nguồn chính là dịch vụ MCP mã nguồn mở computer-use.
Tại sao quan trọng Chỉ dựa vào ảnh chụp màn hình và nhấp chuột thì vừa chậm vừa tốn kém; một giao diện có khả năng đọc cấu trúc giao diện và thực hiện thao tác hàng loạt giúp cùng một mô hình hoạt động nhanh hơn và tiết kiệm hơn
Thích 10 · Số sao mã nguồn 22
Lý do
- Các tác giả tuyên bố rằng trong điều kiện không thay đổi mô hình, khung làm việc, bài toán và ngân sách số bước, chỉ thay đổi giao diện: Trên OSWorld 2.0 (108 bài toán, GPT-6 Astra), điểm một phần đạt 72.37% so với 68.82% của CUA Driver; Trên OSWorld 1.0 (GPT-5.4), đạt 70.13% so với 62.47%, chi phí thấp hơn 59.1%; Trên Windows Agent Arena, đạt 80.86% so với 71.89%, chi phí thấp hơn 50.6%. Trên OSWorld 2.0, khi kết hợp với Claude Opus 5, điểm nhị phân đạt 35.19%, là mức cao nhất trong tất cả các hệ thống được đánh giá đầy đủ.
- Các tác giả tuyên bố rằng trên OSWorld 1.0, bốn mô hình tiên tiến (GPT-5.4, Claude Opus 5.5, Gemini 3.8 Flash, Grok 4.7) tăng trung bình 6.48 điểm, giảm 17% số bước, chi phí thấp hơn 30%; các mô hình khác nhau phân bổ công việc giữa ba kênh theo những cách khác nhau, nhưng đều hưởng lợi.
- Đối với người dùng thực tế, điều này rất trực tiếp: dịch vụ MCP có thể kết nối với Codex, Claude Code, Gemini CLI, Grok Build, cũng như cung cấp giao diện dòng lệnh và SDK Python (chia sẻ cùng một daemon); giấy phép MIT, số sao mã nguồn 22 (chỉ phản ánh mức độ quan tâm).
Cách sử dụng
- Xây dựng: chạy make build-local (Linux, Go 1.22 trở lên) sau đó chạy make smoke để kiểm tra xem MCP có cung cấp AX và GUI hay không; trên macOS dùng make build-macos (Swift 6.2 trở lên), trên Windows dùng make build-windows (.NET 8, PowerShell 7); chạy artifacts/computer-use doctor dưới quyền người dùng đã đăng nhập vào desktop để kiểm tra quyền hạn và các phụ thuộc.
- Kết nối tác nhân: Đối với Codex, thêm [mcp_servers.computer_use] vào ~/.codex/config.toml, trong đó command trỏ đến đường dẫn tuyệt đối của artifacts/computer-use, args = ["mcp"]; Đối với Claude Code, dùng lệnh claude mcp add computer_use -- python3 <đường dẫn kho chứa>/osworld/guest_files/claude_mcp_schema_adapter.py <đường dẫn>/computer-use mcp; lệnh python3 -m hcu.render_agent_config có thể tạo cấu hình đầy đủ và hướng dẫn kèm theo cho bốn loại tác nhân.
- Tự động hóa bằng script: computer-use apps để liệt kê các cửa sổ, computer-use find w1 --role button --name-has Save để tìm điều khiển, computer-use click r12 --wait '{"window":"Save"}' để nhấp và chờ cửa sổ xuất hiện; Đối với Python, sử dụng hcu_sdk trong sdk/python.
Rủi ro
- Hệ thống sẽ gửi đầu vào thực tế tới desktop đang đăng nhập; các tác giả khuyến nghị đặt các tác vụ không đáng tin cậy trên một desktop chuyên dụng hoặc máy ảo dùng một lần.
- Các con số đánh giá do chính các tác giả tự báo cáo, giao diện đối chứng chỉ có duy nhất CUA Driver; MacAgentBench chỉ đánh giá 28 bài toán thuộc tập con UI. Quyền trợ năng và chụp màn hình của từng hệ thống cần được cấu hình riêng theo docs/PLATFORMS.md trong kho chứa.
Mở · Mã nguồn · Trang ArXiv