KORMo-Web-11B : Agent web bilingue coréen-anglais de KAIST

L'équipe MLP de l'Institut KAIST a publié le 14 11, basé sur leur modèle coréen-anglais KORMo-10B pré-entraîné à partir de zéro, étendu via KORMo-VL (vision SigLIP) puis réentraîné en tant qu'agent web : le même modèle peut dialoguer, analyser des images et piloter un navigateur uniquement à partir de captures d'écran (22 types d'actions : clic, saisie, raccourcis clavier, défilement, glisser-déposer, changement d'onglet, etc.), en rédigeant une réflexion avant chaque action. Les auteurs indiquent avoir utilisé plus de 1,000 000 exemples de compréhension web et plus de 10 000 trajectoires d'action coréen-anglais. Licence Apache-2.0 ; le modèle KORMo-Web-9B de la même série, basé sur Qwen, est spécialisé dans les tâches web.

Titre original : KORMo-VL/KORMo-Web-11B

L'équipe MLP de l'Institut KAIST a publié le 14 11, basé sur leur modèle coréen-anglais KORMo-10B pré-entraîné à partir de zéro, étendu via KORMo-VL (vision SigLIP) puis réentraîné en tant qu'agent web : le même modèle peut dialoguer, analyser des images et piloter un navigateur uniquement à partir de captures d'écran (22 types d'actions : clic, saisie, raccourcis clavier, défilement, glisser-déposer, changement d'onglet, etc.), en rédigeant une réflexion avant chaque action. Les auteurs indiquent avoir utilisé plus de 1,000 000 exemples de compréhension web et plus de 10 000 trajectoires d'action coréen-anglais. Licence Apache-2.0 ; le modèle KORMo-Web-9B de la même série, basé sur Qwen, est spécialisé dans les tâches web.

Pourquoi c'est important Conserve les capacités de chat et d'analyse d'images tout en pilotant un navigateur ; les auteurs affirment que le taux de réussite des tâches web en coréen est le plus élevé parmi les modèles ouverts du tableau

Score en hausse 70 · J'aime 77 · Téléchargements 26

Raisons

  • Les auteurs ont évalué avec le même modèle sur 612 tâches issues de sites réels dans Online-Mind2Web (anglais 300, coréen 312) : taux de réussite en coréen 30.1%, en anglais 29.0% ; dans le même tableau, UI-TARS-1.5-7B obtient 20.2% en coréen et Qwen3.5-9B 16.7%
  • Utilise uniquement des captures d'écran, sans nécessiter le DOM ni l'arbre d'accessibilité ; le dépôt inclut la documentation complète du format de messages HARNESS.md, les définitions des 22 outils et un agent de référence Playwright
  • Fonctionne sur une seule carte GPU ; les chemins de chargement testés par les auteurs sont fournis pour transformers 5.12.1 et vLLM 0.23.0

Utilisation

  • transformers : après le téléchargement du dépôt, importez d'abord kormo_load et appelez kormo_load.register(chemin), puis chargez AutoProcessor et AutoModelForImageTextToText ; après le chargement, appelez kormo_load.patch_vision(model) (sinon les captures d'écran seront mal interprétées)
  • vLLM : convertissez une fois le format avec vllm/convert_to_vllm.py, définissez PYTHONPATH sur le répertoire vllm du dépôt puis lancez vllm serve ; utilisez ensuite examples/agent_playwright.py --task "..." pour lui faire ouvrir Chromium et exécuter la tâche
  • Température recommandée 0.6, top_p 0.95, top_k 20, activez la réflexion, maximum 16k tokens par étape et au plus 50 étapes (déjà configuré dans generation_config) ; les coordonnées de sortie sont des valeurs normalisées entre 0 et 1000

Risques

  • Le taux de réussite des tâches web est d'environ 30 %, avec un écart important par rapport aux modèles fermés du tableau (plus de 60 %) ; les auteurs précisent que les versions spécialisées 4B / 9B de la même série obtiennent de meilleurs scores sur le web
  • Ne prend en charge que le coréen et l'anglais ; le taux de réussite est évalué automatiquement par GPT-6, sans vérification humaine
  • Faire piloter directement le navigateur au modèle peut entraîner des clics ou soumissions erronés ; il est recommandé de l'exécuter dans un environnement navigateur isolé ; l'agent de référence n'effectue pas d'uploads. Cette entrée n'a pas été exécutée

Ouvrir

Hugging Face Trending

Parcourir les dernières actualités IA