Outil d'automatisation du bureau pour agents IA : lit la structure réelle de l'interface de n'importe quelle application via l'arbre d'accessibilité du système, renvoie un instantané au format JSON où chaque élément interactif est associé à une référence ; l'agent clique ou saisit via ces références, puis vérifie avec un nouvel instantané, sans recourir à la reconnaissance de pixels.
Étoiles 1833 (+22 / 24h)
Raisons
- Les références sont liées à l'instantané auquel elles appartiennent ; si l'interface change, le système renvoie STALE_REF ou AMBIGUOUS_TARGET et exige un nouvel instantané, évitant ainsi de cliquer sur des lignes supprimées ; le mode sans interface graphique est activé par défaut, opérant via les interfaces d'accessibilité sans déplacer la souris ni voler le focus ; ajoutez --headed pour nécessiter une interaction réelle.
- 60 noms de commandes, 56 disponibles : observation, actions sur les références, clavier et souris, gestion des applications et des fenêtres, notifications, presse-papiers, attente, suivi de session ; pour les interfaces denses, utilisez d'abord snapshot --skeleton pour obtenir la structure globale avant de cibler une zone spécifique.
- Chaque commande renvoie une enveloppe JSON unifiée, les erreurs incluent un code, une indication de sécurité pour la nouvelle tentative et des suggestions ; une bibliothèque C est également fournie, permettant aux programmes d'appeler l'outil directement dans le processus.
Utilisation
- npm install -g agent-desktop ; sur macOS, accordez les autorisations d'accessibilité (agent-desktop permissions --guide) ; sous Linux, une session graphique et at-spi2-core sont nécessaires.
- Demandez à l'agent de lire d'abord la documentation intégrée : agent-desktop skills get desktop et skills get platform ; ou npx skills add https://github.com/vercel-labs/agent-desktop --skill agent-desktop.
- Boucle minimale : agent-desktop snapshot --app Finder -i → agent-desktop click <reférence de l'instantané> → puis snapshot pour vérifier.
Risques
- Les instantanés, le presse-papiers, les captures d'écran et les journaux peuvent contenir des données privées présentes sur le bureau ; l'auteur recommande de ne pas les inclure dans des journaux publics ; l'assistance JEV optionnelle envoie la description de l'écran au fournisseur de modèle que vous avez configuré.
- Les capacités sous Linux dépendent de X11 / Wayland et de GNOME, certaines fonctionnalités sont manquantes ; les paquets officiels Homebrew et Scoop sont encore en cours de soumission ; licence Apache-2.0.