agent-desktop

agent-desktop est un outil en ligne de commande et un ensemble de compétences associés développés par Vercel Labs, qui lit et manipule les applications de bureau via l'arbre d'accessibilité du système d'exploitation : cliquer sur des boutons, remplir des formulaires, lire l'état de l'interface, naviguer dans les menus, cocher des cases, faire défiler, glisser-déposer, saisir du texte, utiliser des raccourcis clavier, prendre des captures d'écran, gérer les fenêtres, accéder au presse-papiers, lancer et fermer des applications, lire les notifications. Chaque commande renvoie un JSON ; il ne s'agit que d'un outil, la boucle « observer—agir—vérifier » étant assurée par l'agent qui l'appelle.

agent-desktop est un outil en ligne de commande et un ensemble de compétences associés développés par Vercel Labs, qui lit et manipule les applications de bureau via l'arbre d'accessibilité du système d'exploitation : cliquer sur des boutons, remplir des formulaires, lire l'état de l'interface, naviguer dans les menus, cocher des cases, faire défiler, glisser-déposer, saisir du texte, utiliser des raccourcis clavier, prendre des captures d'écran, gérer les fenêtres, accéder au presse-papiers, lancer et fermer des applications, lire les notifications. Chaque commande renvoie un JSON ; il ne s'agit que d'un outil, la boucle « observer—agir—vérifier » étant assurée par l'agent qui l'appelle.

Pourquoi c'est important Sans se fier aux captures d'écran pour deviner les coordonnées, on clique sur les boutons, remplit les formulaires et lit les états en fonction des éléments de l'interface, ce qui rend l'automatisation de bureau plus fiable.

Audit de sécurité : Non audité

  • Pas encore scanné

Raison

  • skills.sh 24 heures d'installation 433 (ne reflète que le niveau d'attention)

Utilisation

  • Installez d'abord la ligne de commande agent-desktop, exécutez agent-desktop status pour vérifier les autorisations, puis utilisez snapshot pour obtenir les références des éléments avant de les manipuler

Risques

  • Non audité, les commandes d'installation ne sont pas affichées
  • Il faut accorder les autorisations d'accessibilité au terminal, l'agent peut manipuler n'importe quelle application sur l'ordinateur, les opérations sensibles nécessitent une confirmation humaine

Ouvrir · Dépôt

Best Skills 每日数据(LinklyAI / @BlueeonY,CC BY 4.0)

Parcourir les dernières actualités IA