Un cadre d'entraînement pour agents d'opération informatique basé sur un « double volant ». La couche externe relie le corpus du monde ouvert aux faiblesses actuelles du modèle, guidant la génération de données et l'entraînement pour le cycle suivant ; la couche interne extrait d'abord des flux de travail réels issus de vidéos tutorielles comme tâches de départ (reconstruisant les trajectoires d'opération via deux approches : les déclencheurs sémantiques dans les transcriptions textuelles et les déclencheurs visuels liés aux changements d'écran), puis abstrait ces tâches de départ en « primitives de capacité » réutilisables, pour composer de nouvelles tâches avec un nombre et une difficulté contrôlés, accompagnées de validateurs. Lors de la collecte des trajectoires, en cas d'erreur dans l'environnement réel, le système effectue un retour en arrière sur un instantané et réessaie selon le retour d'information. Le modèle CUA-Master-27B produit est basé sur Qwen3.5-27B, entraîné par plusieurs cycles de SFT et de RL, et prend en charge à la fois les opérations purement GUI et les opérations hybrides GUI+CLI.
J'aime 92 · Étoiles du code 86
Raisons
- Les auteurs mentionnent OSWorld Verified 80.2, OSWorld 2.0 36.9, WeaveBench 43.9 et Agents' Last Exam 25.0 ; la fiche du modèle liste également WindowsAgentArena 56.2, MacOSWorld 43.0 et MacAgentBench 59.9, et indique le temps moyen par tâche (environ 8 minutes pour OSWorld Verified).
- Les poids et l'ensemble de la chaîne de traitement des données sont disponibles : sur Hugging Face, yxl66666/CUAMaster-27B, le dépôt incluant toutes les lignes de commande depuis la recherche de vidéos, la transcription, le score d'applicabilité, la reconstruction des trajectoires, la synthèse de tâches et la collecte en sandbox jusqu'à la conversion des données SFT pour ms-swift.
- Troisième en nombre de « J'aime » sur Hugging Face ce jour-là (indiquant uniquement le niveau d'attention) ; l'approche consistant à « extraire des tâches de départ de vidéos tutorielles » ne dépend pas de l'expérience auto-générée par le modèle et peut être utilisée indépendamment pour créer des données d'entraînement pour vos propres agents.
Utilisation
- Installation : pip install -e ".[seeding,annotator,collection,dev]", cp .env.example .env pour renseigner la clé API et l'adresse du service sandbox.
- Génération de données : python -m cuamaster.seeding.harvesting.search_cli pour rechercher des vidéos tutorielles → …harvesting.download pour télécharger → …transcription.transcribe pour transcrire avec faster-whisper → …scoring.score pour attribuer un score de 0 à 5 → …reconstruction.construct pour reconstruire les trajectoires de départ ; cuamaster-synthesize pour synthétiser de nouvelles tâches.
- Collecte de trajectoires : effectuez d'abord un test de fumée sans machine virtuelle avec cuamaster-collect --config configs/collection/mock_command.example.json ; la collecte formelle nécessite de connecter votre propre orchestration de machines virtuelles via l'interface SandboxProvider ; cuamaster-dataset pour exporter les données SFT.
- Modèle : sur Hugging Face, yxl66666/CUAMaster-27B, les coordonnées des actions sont normalisées sur [0,1000] ; la fiche du modèle rappelle d'exécuter dans un sandbox et de vérifier les résultats avant d'élargir les permissions.
Risques
- La fiche du modèle ne précise pas la licence et ne fournit pas de commandes de déploiement pour l'inférence ; le code est marqué Apache-2.0 dans pyproject, mais il n'y a pas de fichier LICENSE à la racine du dépôt, il faut donc confirmer avec les auteurs avant toute utilisation commerciale.
- Le processus complet dépend d'API externes (modèle d'annotation), du téléchargement de vidéos et d'un sandbox de machines virtuelles auto-hébergé, ce qui rend le coût de reproduction élevé ; pour la partie RL, le README indique uniquement l'utilisation de validateurs de tâches pour attribuer des récompenses basées sur les résultats, sans scripts prêts à l'emploi.
- Les scores sont rapportés par les auteurs, le temps par tâche pour les tâches longues varie de quelques minutes à plus d'une heure ; les agents modifient des fichiers et exécutent des commandes, ne les exécutez donc pas directement sur votre machine principale.