Le modèle d'opération informatique de 4 B de l'équipe Mage de Microsoft : après avoir observé une capture d'écran du bureau, il décide à chaque étape s'il doit manipuler l'interface avec la souris et le clavier (computer_use, 11 types d'actions) ou exécuter des commandes shell / Python dans un terminal (bash). Un seul modèle accomplit des tâches de bureau inter-applications sans nécessiter de planificateur externe. Il est entraîné à partir d'un point de contrôle intermédiaire de Mage-VL 4 B (Mage-ViT plus Qwen3-4B).
Hausse des scores de 90 · J'aime 91 · Téléchargements 233
Raisons
- Officiellement, OSWorld-Verified 66.0% (361 questions, excluant les types Google Drive, budget de 50 étapes, moyenne de deux évaluations complètes), avec 87.5% pour les tâches liées au système d'exploitation et 62.7% pour les flux de travail multi-applications ; dans le même tableau, ScaleCUA-Qwen3.5-9B 68.7, Qwen3.6-27B 63.9, GPT-5.4-mini 69.6, référence humaine 72.4.
- Il sait se répartir les tâches : les modifications structurées de tableaux, documents et présentations sont effectuées directement dans le terminal via openpyxl / python-pptx, tandis que l'édition de canevas et la vérification de l'état de l'interface nécessitent des clics de souris. La démonstration officielle d'une tâche LibreOffice Calc (fusion de cellules, ajout d'un histogramme, sauvegarde en .xlsx) a été réalisée en 39 secondes et 6 étapes, tandis que Qwen3.6-27B, qui ne clique que sur l'interface, a pris 9 minutes 56 secondes et 39 étapes.
- La recette d'entraînement est entièrement documentée : cinq étapes successives, à savoir l'entraînement intermédiaire GUI, le SFT agent GUI, le SFT programmation / terminal, le SFT mixte et l'apprentissage par renforcement GRPO en ligne, avec un total de 293,806 tâches synthétisées. Officiellement, l'apprentissage par renforcement surpasse le SFT mixte de 10.16 points de pourcentage, tout en générant 25.4% tokens de sortie en moins. Le dépôt a été créé le 30 10, les périodes précédentes n'ayant pas été incluses.
Utilisation
- Service : utilisez l'image Docker officielle xiaoyizhang/mage-vl-cowork:0.1.0 (incluant SGLang 0.5.2), en montant le répertoire des poids pour démarrer le service. Vous pouvez également exécuter vous-même python -m sglang.launch_server --model-path microsoft/Mage-VL-Cowork --trust-remote-code --context-length 32768 --tool-call-parser qwen25, et définir SGLANG_MAX_PIXELS=4000000 pour conserver les détails des captures d'écran 1920×1080.
- Le prompt système doit être utilisé tel quel depuis la carte MAGE_HYBRID_SYSTEM_PROMPT, qui définit les deux outils computer_use et bash, avec des coordonnées normalisées entre 0 et 999. À chaque étape, le modèle sort une réflexion <think>, une ligne Action et un <tool_call> ; l'échantillonnage utilise une température de 0.7, top_p 0.8 et max_new_tokens 4096.
- Pour exécuter des tâches complètes, intégrez MAGEHybridAgent depuis le dépôt osworld_eval/ : conservez les 3 dernières captures d'écran, les étapes antérieures étant résumées en une phrase. L'inférence hors ligne avec Transformers nécessite transformers>=4.57.3 et trust_remote_code=True activé.
Risques
- Il exécute des commandes shell arbitraires et des opérations d'interface. Officiellement, il ne doit être exécuté que dans des conteneurs ou machines virtuelles isolés et jetables, sans monter de clés personnelles, de cookies de navigateur ou d'identifiants cloud, avec une confirmation humaine requise avant les opérations irréversibles telles que les paiements ou les connexions.
- Les scores sont tous auto-évalués par l'éditeur, 66.0 utilisant son propre harnais et la moyenne de deux exécutions. Le score de 58.6 pour les tâches web WebVoyager-Static est celui de la version SFT, inférieur à celui de Fara1.5-4B spécialisé pour le navigateur (68.0). La carte ne contient que les scores pour le bureau Linux (OSWorld).
- L'architecture est personnalisée llava_onevision2, nécessitant trust_remote_code, et ne peut pas être chargée comme un Qwen3-VL standard ; la fenêtre d'inférence est entraînée sur 32K. Les poids bf16 pèsent 9.48 GB, les besoins en mémoire GPU ne sont pas indiqués sur la carte ; le rapport technique est actuellement un PDF sur GitHub.