원제: Hybrid Computer Use: A Unified Programmatic, Semantic, and Visual Interface for General Agents
마이크로소프트 리서치 등이 제안한 Hybrid Computer Use(HCU). 저자들은 스크린샷과 마우스/키보드만 사용하는 컴퓨터 조작 인터페이스가 '사람이 컴퓨터를 사용하는 방식'의 관행을 모델에 강요한다고 주장한다: 화면을 반복적으로 확인해야 하며, 시스템 자체의 시맨틱 및 프로그래밍 능력을 낭비한다. HCU는 세 가지 채널을 하나의 인터페이스로 통합한다: 프로그래밍 채널(에이전트 내장 셸 및 파일 도구), 시맨틱 채널 AX(간소화된 접근성 트리를 읽고 a1, r12과 같은 짧은 참조를 사용하며, 한 번에 최대 64개의 작업을 일괄 실행하고 호출 내에서 대기한 후 AX diff를 반환), 시각 채널 GUI(전체 화면 스크린샷, 부분 확대, 마우스/키보드 입력 일괄 처리). 입력을 전송하기 전에 항상 대상 컨트롤과 창 레이아웃이 계획 시점과 여전히 일치하는지 확인하며, 인터페이스가 변경된 경우 실행을 거부하여 채널 전환 후 잘못된 클릭을 방지한다. 또한 에이전트가 채널을 선택하고 조합하는 방법을 가르치는 스킬 설명서가 함께 제공된다. 코드는 오픈소스 MCP 서비스 computer-use이다.
왜 중요한가 스크린샷 기반 클릭만으로는 느리고 비용이 많이 든다. 인터페이스 구조를 읽고 일괄 조작할 수 있는 인터페이스를 사용하면 동일한 모델로 더 빠르고 효율적으로 작업할 수 있다.
좋아요 10 · 코드 스타 수 22
이유
- 저자들은 모델, 프레임워크, 문제 및 단계 예산을 모두 고정하고 인터페이스만 변경한 조건에서 다음과 같은 결과를 보고했다: OSWorld 2.0(108개 문제, GPT-6 Astra)에서 부분 점수 72.37%로 CUA Driver의 68.82% 대비 우위; OSWorld 1.0(GPT-5.4)에서 70.13% 대 62.47%이며 비용은 59.1% 낮음; Windows Agent Arena에서 80.86% 대 71.89%이며 비용은 50.6% 낮음. OSWorld 2.0에서 Claude Opus 5을 사용한 이진 점수는 35.19%로, 전체 평가 시스템 중 최고 점수이다.
- 저자들은 OSWorld 1.0에서 네 가지 최신 모델(GPT-5.4, Claude Opus 5.5, Gemini 3.8 Flash, Grok 4.7)의 평균 점수가 6.48점 상승했으며, 단계 수는 17% 감소하고 비용은 30% 낮아졌다고 보고했다. 각 모델은 세 채널 간 작업 분배 방식이 다르지만 모두 이점을 얻었다.
- 사용자에게 직접적인 이점: MCP 서비스는 Codex, Claude Code, Gemini CLI, Grok Build와 연동 가능하며, 명령줄 및 Python SDK(동일한 데몬 프로세스 공유)도 지원한다. MIT 라이선스이며, 코드 스타 수는 22(관심도만 반영)이다.
사용법
- 빌드: make build-local(Linux, Go 1.22 이상) 후 make smoke를 실행하여 MCP가 AX 및 GUI를 노출하는지 확인한다. macOS는 make build-macos(Swift 6.2 이상), Windows는 make build-windows(.NET 8, PowerShell 7)를 사용한다. 로그인된 데스크톱 사용자 권한으로 artifacts/computer-use doctor를 실행하여 권한 및 의존성을 확인한다.
- 에이전트 연결: Codex의 경우 ~/.codex/config.toml에 [mcp_servers.computer_use]를 추가하고, command는 artifacts/computer-use의 절대 경로를 가리키며 args = ["mcp"]로 설정한다. Claude Code의 경우 claude mcp add computer_use -- python3 <저장소>/osworld/guest_files/claude_mcp_schema_adapter.py <경로>/computer-use mcp를 사용한다. python3 -m hcu.render_agent_config를 사용하면 네 가지 에이전트 유형에 대한 전체 구성 및 관련 지침을 생성할 수 있다.
- 스크립팅: computer-use apps로 창을 나열하고, computer-use find w1 --role button --name-has Save로 컨트롤을 찾으며, computer-use click r12 --wait '{"window":"Save"}'로 클릭 후 창이 나타날 때까지 대기한다. Python의 경우 sdk/python의 hcu_sdk를 사용한다.
리스크
- 현재 로그인된 데스크톱에 실제 입력을 전송한다. 저자들은 신뢰할 수 없는 작업의 경우 전용 데스크톱이나 일회용 가상 머신에서 실행할 것을 권장한다.
- 평가 수치는 저자들이 자체 보고한 것이며, 비교 대상 인터페이스는 CUA Driver 하나뿐이다. MacAgentBench는 UI 하위 집합의 28개 문제만 평가했다. 각 시스템의 접근성 및 스크린샷 권한은 저장소의 docs/PLATFORMS.md를 참조하여 개별적으로 구성해야 한다.