Mage-VL-Cowork : agent d'opération informatique de Microsoft 4B, capable de cliquer et de coder

Agent d'opération informatique entraîné par l'équipe Mage de Microsoft sur le point de contrôle intermédiaire Mage-VL 4B (encodeur visuel Mage-ViT + Qwen3-4B). Un seul modèle intègre deux canaux d'action : computer_use pour observer les captures d'écran, cliquer et taper au clavier, et bash pour exécuter des commandes et du Python pour traiter les fichiers. À chaque étape, le modèle choisit lui-même le canal, sans besoin d'un ordonnanceur externe. L'entraînement se déroule en cinq phases : d'abord l'entraînement séparé sur la localisation d'interface, l'opération d'interface et la programmation de terminal, puis la fusion pour un SFT mixte et un apprentissage par renforcement en ligne. Selon les chiffres officiels, il atteint 66.0% sur OSWorld-Verified (budget de 50 étapes), soit le meilleur score pour la taille 4B ; l'apprentissage par renforcement en ligne améliore le SFT mixte de 10.16 points de pourcentage, tout en réduisant le nombre d'appels et la longueur des sorties.

Titre original : microsoft/Mage-VL-Cowork

Agent d'opération informatique entraîné par l'équipe Mage de Microsoft sur le point de contrôle intermédiaire Mage-VL 4B (encodeur visuel Mage-ViT + Qwen3-4B). Un seul modèle intègre deux canaux d'action : computer_use pour observer les captures d'écran, cliquer et taper au clavier, et bash pour exécuter des commandes et du Python pour traiter les fichiers. À chaque étape, le modèle choisit lui-même le canal, sans besoin d'un ordonnanceur externe. L'entraînement se déroule en cinq phases : d'abord l'entraînement séparé sur la localisation d'interface, l'opération d'interface et la programmation de terminal, puis la fusion pour un SFT mixte et un apprentissage par renforcement en ligne. Selon les chiffres officiels, il atteint 66.0% sur OSWorld-Verified (budget de 50 étapes), soit le meilleur score pour la taille 4B ; l'apprentissage par renforcement en ligne améliore le SFT mixte de 10.16 points de pourcentage, tout en réduisant le nombre d'appels et la longueur des sorties.

Pourquoi c'est important Les petits modèles peuvent agir comme agents d'opération informatique : modification de fichiers via des scripts, interaction avec l'interface via des clics, avec moins d'étapes

Score en hausse de 65 · J'aime 217 · Téléchargements 3714

Raisons

  • Pour les fichiers structurés comme les tableaux, documents et diaporames, la modification se fait par code ; les clics sur capture d'écran ne sont réservés qu'à l'édition de canevas et à l'état en temps réel de l'interface, ce qui réduit les clics souris étape par étape
  • Les poids bf16 pèsent environ 9.48 Go ; l'éditeur fournit une image Docker SGLang et des exemples d'inférence avec transformers
  • La fiche modèle détaille le processus d'entraînement et la méthode de synthèse de tâches (Mage-CUA-Forge), sous licence Apache-2.0

Utilisation

  • Déployez le service avec SGLang (nécessite trust_remote_code, contexte recommandé 32,768, temperature 0.7, top_p 0.8), ou utilisez directement l'image Docker officielle
  • Utilisez le prompt système et les définitions des deux outils exactement tels que fournis dans la fiche modèle

Risques

  • Architecture personnalisée llava_onevision2, ne peut pas être chargée comme un Qwen3-VL standard
  • Les performances sont auto-déclarées par l'éditeur ; la fiche modèle n'est disponible qu'en anglais
  • Le modèle manipule directement l'ordinateur et exécute des commandes shell ; il est recommandé de l'exécuter dans une machine virtuelle ou un bac à sable
  • Cette entrée n'a pas été testée ; les performances sont à vérifier selon la fiche modèle

Ouvrir

Hugging Face Trending

Parcourir les dernières actualités IA