WebArena-Pro:可复现、含音视频的网页智能体基准

现有可复现的网页智能体基准只覆盖少数几类网站,模态也只有文字和视觉;在线基准覆盖更广,但页面和数据会变,难以复现。WebArena-Pro 在 20 个自托管网站(六个领域类别)上设计 300 个测试任务,界面习惯、流程和数据模型各不相同,并把音频和视频当作与文字、图像同等的观察,配有专门的提取动作。作者称 Codex 搭配 GPT 6.1 Sol 和 Claude Code 搭配 Claude Opus 5.5 并列最好,均为 62.3%,OpenCode 搭配 Kimi 3.1 Pro 为 60.7%;最强的 GenericAgent 配置 Gemini 3.1 Pro omni 和 Gemma4 31B 都只有 30.3%。任务经标注界面编写、大模型辅助筛选,再由人工核验后发布。

原题:WebArena-Pro: A Heterogeneous, Multimodal, Reproducible Benchmark for Web Agents

现有可复现的网页智能体基准只覆盖少数几类网站,模态也只有文字和视觉;在线基准覆盖更广,但页面和数据会变,难以复现。WebArena-Pro 在 20 个自托管网站(六个领域类别)上设计 300 个测试任务,界面习惯、流程和数据模型各不相同,并把音频和视频当作与文字、图像同等的观察,配有专门的提取动作。作者称 Codex 搭配 GPT 6.1 Sol 和 Claude Code 搭配 Claude Opus 5.5 并列最好,均为 62.3%,OpenCode 搭配 Kimi 3.1 Pro 为 60.7%;最强的 GenericAgent 配置 Gemini 3.1 Pro omni 和 Gemma4 31B 都只有 30.3%。任务经标注界面编写、大模型辅助筛选,再由人工核验后发布。

为什么重要 在线网页测试会随网站变化难以复现;它全部自托管、逐任务隔离,作者称是覆盖应用最广的可复现基准

点赞 11 · 代码星数 0

理由

  • 接入编程智能体框架(Codex、Claude Code、OpenCode)的成绩明显高于通用网页智能体框架
  • 三种接入方式:BrowserGym/AgentLab、Harbor,或通过浏览器 / 媒体 MCP 服务接入自己的智能体;每个任务独立运行,可以并行评测
  • README 称另有开发集,可先在开发集上调试再跑测试集

用法

  • 代码:https://github.com/McGill-NLP/webarena-pro(MIT)
  • 需要 Python 3.12+、Docker 和 uv:在 webarena-pro-bgym 目录 uv sync 后,用 uv run webarena-pro run --split dev --site nextcloud --list 预览任务,配好智能体和评审的 API 凭据再跑小批任务

风险

  • 要在本地起多个网站容器;评分部分用模型评审,需要另配 API 凭据
  • 成绩为作者报告;本条未运行

打开 · 代码 · 抱脸论文页

Hugging Face Daily Papers

浏览最新 AI 动态