La compétence de Vercel Labs : apprend à l'agent à utiliser la ligne de commande agent-desktop pour lire et manipuler les applications de bureau sur macOS, Windows et Linux via l'arborescence d'accessibilité (accessibility tree) du système — commencez par un instantané (snapshot) pour obtenir un JSON des éléments d'interface avec des numéros de référence, puis cliquez, saisissez ou cochez en vous basant sur ces numéros, et enfin refaites un instantané pour vérifier, sans recourir aux captures d'écran ni à la correspondance de pixels.
Audit de sécurité : Non audité
- Pas encore scanné
Justification
- La boucle est décrite précisément : pour les petites applications, utilisez directement
snapshot -i; pour les applications complexes, utilisez d'abord--skeletonpour obtenir une carte superficielle, puis--rootpour explorer une zone spécifique ; les références sont de la forme @s8f3k2p9:e1, valables uniquement dans l'instantané courant ; si l'interface change et renvoie STALE_REF, refaites un instantané - Les règles de réessai empêchent les soumissions en double : ne réessayez que si
disposition.retryestsafe(c'est-à-direnot\_delivered) ; dans les autres cas, lisez d'abord l'état actuel de l'interface avant de décider, pour éviter de cliquer deux fois, de soumettre deux fois ou d'annuler une bascule (toggle) involontairement - Mode sans interface graphique (headless) par défaut : manipulation via les interfaces d'accessibilité, sans voler le focus, sans déplacer la souris, sans utiliser le presse-papiers ; n'ajoutez
--headedque si l'utilisateur l'autorise explicitement, et ne basculez pas ce mode pour contourner un échec en mode headless - SKILL.md est très court, les instructions détaillées des commandes sont fournies par le programme lui-même (
agent-desktop skills get desktop / platform) et alignées avec la version ; le README mentionne la licence Apache-2.0, l'auteur indique un total de 60 noms de commandes, dont 56 sont utilisables - Installation sur skills.sh en 24 heures 536 (représente uniquement le niveau d'attention)
Utilisation
- La commande d'installation s'affichera une fois l'audit réussi ; installez d'abord la ligne de commande via
npm install -g agent-desktop, puis lors de la première utilisation, demandez à l'agent d'exécuteragent-desktop statusetagent-desktop skills get platform - Aucun compte ni service cloud n'est requis ; sur macOS, accordez les permissions d'accessibilité au terminal (
agent-desktop permissions --guide) ; sur Linux, une session graphique et at-spi2-core sont nécessaires ; sur Windows, seules les applications ayant le même niveau de permissions que le terminal peuvent être manipulées
Risques
- Non audité pour cette période, classé C fixe, la commande d'installation n'est pas affichée ; SKILL.md demande à l'agent d'exécuter des commandes agent-desktop pour manipuler les applications locales, ce qui constitue une exécution de commandes, cohérent avec l'usage prévu ; l'audit Snyk sur skills.sh est marqué "Warn"
- L'agent peut lire et écrire dans le presse-papiers, prendre des captures d'écran, lancer et fermer des applications, lire les notifications ; le README avertit que les instantanés et les captures d'écran peuvent contenir des informations privées, ne les placez pas dans des journaux publics ; l'assistance JEV optionnelle enverra la description de l'écran au service de modèle que vous avez configuré
- Sur Linux, l'entrée souris et le contrôle des fenêtres sont principalement pris en charge sur X11 ; sous Wayland, les captures d'écran passent par le portail système et le presse-papiers nécessite wl-clipboard ; cette fois-ci, le test n'a pas été exécuté, la fiabilité des opérations est inconnue