Titre original : WebArena-Pro: A Heterogeneous, Multimodal, Reproducible Benchmark for Web Agents
Les benchmarks existants pour agents web reproductibles ne couvrent que quelques types de sites, avec des modalités limitées au texte et à la vision ; les benchmarks en ligne offrent une couverture plus large, mais les pages et les données évoluent, ce qui rend la reproduction difficile. WebArena-Pro propose 300 tâches de test conçues sur 20 sites auto-hébergés (six catégories de domaines), présentant des conventions d'interface, des flux de travail et des modèles de données distincts, et traite l'audio et la vidéo comme des observations équivalentes au texte et aux images, avec des actions d'extraction dédiées. Les auteurs indiquent que Codex associé à GPT 6.1 Sol et Claude Code associé à Claude Opus 5.5 sont à égalité en tête, avec un score de 62.3%, tandis qu'OpenCode associé à Kimi 3.1 Pro obtient 60.7% ; la configuration GenericAgent la plus performante, utilisant Gemini 3.1 Pro omni et Gemma4 31B, n'atteint que 30.3%. Les tâches ont été rédigées via une interface d'annotation, filtrées avec l'aide de grands modèles de langage, puis vérifiées manuellement avant publication.
Pourquoi c'est important Les tests web en ligne sont difficiles à reproduire car ils dépendent de l'évolution des sites ; ici, tout est auto-hébergé et isolé par tâche, et les auteurs affirment qu'il s'agit du benchmark reproductible couvrant le plus grand nombre d'applications
J'aime 11 · Étoiles GitHub 0
Raisons
- Les scores obtenus via des frameworks d'agents de programmation (Codex, Claude Code, OpenCode) sont nettement supérieurs à ceux des frameworks d'agents web génériques
- Trois modes d'intégration : BrowserGym/AgentLab, Harbor, ou connexion de votre propre agent via des services MCP navigateur / média ; chaque tâche s'exécute indépendamment, permettant une évaluation parallèle
- Le README mentionne l'existence d'un ensemble de développement, permettant de déboguer sur cet ensemble avant de lancer l'ensemble de test
Utilisation
- Code : https://github.com/McGill-NLP/webarena-pro(MIT)
- Nécessite Python 3.12+, Docker et uv : dans le répertoire webarena-pro-bgym, exécutez uv sync, puis utilisez uv run webarena-pro run --split dev --site nextcloud --list pour prévisualiser les tâches, configurez les identifiants API pour l'agent et l'évaluateur, puis lancez un petit lot de tâches
Risques
- Nécessite de lancer plusieurs conteneurs de sites en local ; l'évaluation utilise partiellement un modèle évaluateur, ce qui requiert des identifiants API supplémentaires
- Les scores sont rapportés par les auteurs ; cette entrée n'a pas été exécutée