Titre original : Hybrid Computer Use: A Unified Programmatic, Semantic, and Visual Interface for General Agents
Hybrid Computer Use (HCU), proposé par Microsoft Research et d'autres. Les auteurs estiment que les interfaces d'interaction avec l'ordinateur reposant uniquement sur des captures d'écran et des entrées clavier/souris imposent aux modèles les habitudes humaines d'utilisation de l'ordinateur : cela oblige à regarder l'écran en permanence et gaspille les capacités sémantiques et de programmation inhérentes au système. HCU fusionne trois canaux en une seule interface : le canal de programmation (shell et outils de fichiers intégrés à l'agent), le canal sémantique AX (lecture d'un arbre d'accessibilité simplifié, utilisation de références courtes comme a1 et r12, exécution par lots de jusqu'à 64 actions avec attente interne à l'appel, renvoi d'un diff AX) et le canal visuel GUI (captures d'écran plein écran, zoom local, entrées clavier/souris par lots). Avant chaque envoi d'entrée, le système vérifie que les contrôles cibles et la disposition des fenêtres correspondent toujours au plan initial ; si l'interface a changé, l'exécution est refusée, ce qui évite les clics erronés lors du changement de canal. Une description des compétences est également fournie pour apprendre à l'agent à choisir et combiner les canaux. Le code est le service MCP open source computer-use.
Pourquoi c'est important Se fier uniquement aux captures d'écran et aux clics est lent et coûteux ; une interface capable de lire la structure de l'interface utilisateur et d'effectuer des actions par lots permet au même modèle d'agir plus vite et à moindre coût
J'aime 10 · Étoiles du code 22
Raisons
- Les auteurs affirment que, à modèle, framework, tâches et budget d'étapes constants, en changeant uniquement l'interface : sur OSWorld 2.0 (108 tâches, GPT-6 Astra), le score partiel est de 72.37% contre 68.82% pour CUA Driver ; sur OSWorld 1.0 (GPT-5.4), le score est de 70.13% contre 62.47%, avec un coût inférieur de 59.1% ; sur Windows Agent Arena, le score est de 80.86% contre 71.89%, avec un coût inférieur de 50.6%. Sur OSWorld 2.0, le score binaire avec Claude Opus 5 est de 35.19%, le plus élevé parmi tous les systèmes évalués.
- Les auteurs affirment que, sur OSWorld 1.0, quatre modèles de pointe (GPT-5.4, Claude Opus 5.5, Gemini 3.8 Flash, Grok 4.7) ont vu leur score moyen augmenter de 6.48 points, avec 17% étapes en moins et un coût inférieur de 30% ; les différents modèles répartissent le travail entre les trois canaux de manière différente, mais tous en bénéficient.
- Pour les utilisateurs concernés, c'est très direct : le service MCP peut se connecter à Codex, Claude Code, Gemini CLI et Grok Build, avec également une interface en ligne de commande et un SDK Python (partageant le même démon) ; licence MIT, 22 étoiles du code (représentant uniquement le niveau d'attention).
Utilisation
- Compilation : make build-local (Linux, Go 1.22+) puis make smoke pour vérifier que MCP expose bien AX et GUI ; sur macOS, utilisez make build-macos (Swift 6.2+), sur Windows, make build-windows (.NET 8, PowerShell 7) ; exécutez artifacts/computer-use doctor en tant qu'utilisateur connecté au bureau pour vérifier les autorisations et les dépendances.
- Connexion à l'agent : pour Codex, ajoutez [mcp_servers.computer_use] dans ~/.codex/config.toml, avec command pointant vers le chemin absolu de artifacts/computer-use et args = ["mcp"] ; pour Claude Code, utilisez claude mcp add computer_use -- python3 <repo>/osworld/guest_files/claude_mcp_schema_adapter.py <hemin>/computer-use mcp ; python3 -m hcu.render_agent_config peut générer la configuration complète et les instructions associées pour les quatre types d'agents.
- Scripting : computer-use apps liste les fenêtres, computer-use find w1 --role button --name-has Save recherche un contrôle, computer-use click r12 --wait '{"window":"Save"}' clique et attend l'apparition de la fenêtre ; pour Python, utilisez hcu_sdk dans sdk/python.
Risques
- Il envoie de vraies entrées au bureau actuellement connecté ; les auteurs recommandent d'exécuter les tâches non fiables dans un bureau dédié ou une machine virtuelle jetable.
- Les chiffres d'évaluation sont auto-déclarés par les auteurs, et la seule interface de comparaison est CUA Driver ; MacAgentBench n'a évalué que 28 tâches du sous-ensemble UI. Les autorisations d'accessibilité et de capture d'écran pour chaque système doivent être configurées individuellement selon docs/PLATFORMS.md dans le dépôt.
Ouvrir · Code · Page du papier