원제: WebArena-Pro: A Heterogeneous, Multimodal, Reproducible Benchmark for Web Agents
기존의 재현 가능한 웹 에이전트 벤치마크는 소수의 웹사이트 유형만 다루며 모달리티도 텍스트와 시각 정보로만 제한됩니다. 온라인 벤치마크는 더 넓은 범위를 다루지만 페이지와 데이터가 변경되어 재현이 어렵습니다. WebArena-Pro는 20개의 자체 호스팅 웹사이트(6개 도메인 카테고리)에서 300개의 테스트 작업을 설계했으며, 각 사이트는 인터페이스 관행, 워크플로 및 데이터 모델이 서로 다릅니다. 또한 오디오와 비디오를 텍스트 및 이미지와 동등한 관찰 대상으로 취급하며 전용 추출 동작을 제공합니다. 저자들은 Codex와 GPT 6.1 Sol의 조합, 그리고 Claude Code와 Claude Opus 5.5의 조합이 62.3%로 공동 최고 점수를 기록했다고 밝혔습니다. OpenCode와 Kimi 3.1 Pro의 조합은 60.7%을 기록했으며, 가장 강력한 GenericAgent 구성인 Gemini 3.1 Pro omni와 Gemma4 31B는 모두 30.3%에 그쳤습니다. 작업은 주석 달린 인터페이스를 통해 작성되고 대규모 언어 모델의 도움을 받아 필터링된 후, 인간 검증을 거쳐 공개되었습니다.
왜 중요한가 온라인 웹 테스트는 웹사이트의 변화로 인해 재현하기 어렵습니다. 이 벤치마크는 모두 자체 호스팅되며 작업별로 격리되어 있어, 저자들은 이를 가장 광범위한 애플리케이션을 다루는 재현 가능한 벤치마크라고 주장합니다
좋아요 11 · 코드 스타 수 0
이유
- 프로그래밍 에이전트 프레임워크(Codex, Claude Code, OpenCode)에 연결했을 때의 성적이 범용 웹 에이전트 프레임워크보다 현저히 높습니다
- 세 가지 연결 방식: BrowserGym/AgentLab, Harbor를 사용하거나, 브라우저 / 미디어 MCP 서비스를 통해 자체 에이전트를 연결합니다. 각 작업은 독립적으로 실행되므로 병렬 평가가 가능합니다
- README에 따르면 별도의 개발 세트가 있어, 먼저 개발 세트에서 디버깅한 후 테스트 세트를 실행할 수 있다고 합니다
사용법
- 코드: https://github.com/McGill-NLP/webarena-pro(MIT)
- Python 3.12+, Docker 및 uv가 필요합니다. webarena-pro-bgym 디렉토리에서 uv sync를 실행한 후, uv run webarena-pro run --split dev --site nextcloud --list를 사용하여 작업을 미리 볼 수 있습니다. 에이전트 및 평가용 API 자격 증명을 설정한 후 소규모 배치 작업을 실행하세요
리스크
- 로컬에서 여러 웹사이트 컨테이너를 실행해야 합니다. 평가의 일부는 모델 기반 리뷰를 사용하므로 별도의 API 자격 증명이 필요합니다
- 성적은 저자가 보고한 수치이며, 이 항목은 직접 실행하지 않았습니다