WebArena-Pro:再現可能で音声・映像を含むウェブエージェントベンチマーク

既存の再現可能なウェブエージェントベンチマークは少数のウェブサイトタイプのみをカバーし、モダリティもテキストと視覚情報に限られていました。オンラインベンチマークはより広範な範囲をカバーしますが、ページやデータが変化するため再現が困難です。WebArena-Pro は 20 個のセルフホスト型ウェブサイト(6つのドメインカテゴリ)上で、インターフェースの慣習、ワークフロー、データモデルが異なる 300 個のテストタスクを設計しています。また、音声と映像をテキストや画像と同等の観察対象として扱い、専用の抽出アクションを用意しています。著者によると、Codex と GPT 6.1 Sol の組み合わせ、および Claude Code と Claude Opus 5.5 の組み合わせが最高性能で並んでおり、いずれも 62.3% です。OpenCode と Kimi 3.1 Pro の組み合わせは 60.7% でした。最も強力な GenericAgent 設定である Gemini 3.1 Pro omni と Gemma4 31B は、いずれも 30.3% に留まりました。タスクはアノテーションインターフェースで作成され、大規模言語モデルによる補助的なフィルタリングを経て、人手による検証後に公開されました。

原題:WebArena-Pro: A Heterogeneous, Multimodal, Reproducible Benchmark for Web Agents

既存の再現可能なウェブエージェントベンチマークは少数のウェブサイトタイプのみをカバーし、モダリティもテキストと視覚情報に限られていました。オンラインベンチマークはより広範な範囲をカバーしますが、ページやデータが変化するため再現が困難です。WebArena-Pro は 20 個のセルフホスト型ウェブサイト(6つのドメインカテゴリ)上で、インターフェースの慣習、ワークフロー、データモデルが異なる 300 個のテストタスクを設計しています。また、音声と映像をテキストや画像と同等の観察対象として扱い、専用の抽出アクションを用意しています。著者によると、Codex と GPT 6.1 Sol の組み合わせ、および Claude Code と Claude Opus 5.5 の組み合わせが最高性能で並んでおり、いずれも 62.3% です。OpenCode と Kimi 3.1 Pro の組み合わせは 60.7% でした。最も強力な GenericAgent 設定である Gemini 3.1 Pro omni と Gemma4 31B は、いずれも 30.3% に留まりました。タスクはアノテーションインターフェースで作成され、大規模言語モデルによる補助的なフィルタリングを経て、人手による検証後に公開されました。

なぜ重要か オンラインウェブテストはサイトの変化に伴い再現が困難ですが、本ベンチマークはすべてセルフホスト型でタスクごとに隔離されており、著者によれば最も広範なアプリケーションをカバーする再現可能なベンチマークです

いいね 11 · コードスター数 0

理由

  • プログラミングエージェントフレームワーク(Codex、Claude Code、OpenCode)への統合による成績は、汎用ウェブエージェントフレームワークよりも明らかに高い
  • 3つの統合方法:BrowserGym/AgentLab、Harbor、またはブラウザ / メディア MCP サービスを介して独自のエージェントに接続。各タスクは独立して実行され、並列評価が可能
  • README には開発セットが別途用意されており、まず開発セットでデバッグしてからテストセットを実行できることが記載されている

使い方

  • コード:https://github.com/McGill-NLP/webarena-pro(MIT)
  • Python 3.12+、Docker、uv が必要。webarena-pro-bgym ディレクトリで uv sync を実行した後、uv run webarena-pro run --split dev --site nextcloud --list でタスクをプレビューし、エージェントと評価用の API 認証情報を設定してから小規模なバッチを実行

リスク

  • ローカルで複数のウェブサイトコンテナを起動する必要がある。評価の一部はモデルによるレビューを使用するため、追加の API 認証情報が必要
  • 成績は著者による報告値であり、本記事では実行していない

開く · コード · 抱きしめる論文ページ

Hugging Face Daily Papers

最新の AI ニュースを見る