Tựa gốc: WebArena-Pro: A Heterogeneous, Multimodal, Reproducible Benchmark for Web Agents
Các tiêu chuẩn đánh giá tác nhân web có thể tái tạo hiện tại chỉ bao phủ một số ít loại trang web, với các phương thức biểu diễn chỉ giới hạn ở văn bản và hình ảnh; các tiêu chuẩn trực tuyến có phạm vi bao phủ rộng hơn, nhưng trang và dữ liệu thay đổi, khiến việc tái tạo trở nên khó khăn. WebArena-Pro thiết kế 300 nhiệm vụ kiểm thử trên 20 trang web tự lưu trữ (thuộc sáu danh mục lĩnh vực), với các quy ước giao diện, quy trình và mô hình dữ liệu khác nhau, đồng thời coi âm thanh và video là các quan sát tương đương với văn bản và hình ảnh, kèm theo các hành động trích xuất chuyên dụng. Các tác giả cho biết Codex kết hợp với GPT 6.1 Sol và Claude Code kết hợp với Claude Opus 5.5 cùng đứng đầu, đều đạt 62.3%, trong khi OpenCode kết hợp với Kimi 3.1 Pro đạt 60.7%; cấu hình GenericAgent mạnh nhất với Gemini 3.1 Pro omni và Gemma4 31B chỉ đạt 30.3%. Các nhiệm vụ được viết qua giao diện chú thích, sàng lọc với sự hỗ trợ của mô hình lớn, sau đó được xác minh thủ công trước khi công bố.
Tại sao quan trọng Kiểm thử web trực tuyến khó tái tạo do sự thay đổi của trang web; tiêu chuẩn này hoàn toàn tự lưu trữ, cách ly theo từng nhiệm vụ, và được các tác giả tuyên bố là tiêu chuẩn có thể tái tạo với phạm vi bao phủ ứng dụng rộng nhất
Thích 11 · Số sao mã nguồn 0
Lý do
- Hiệu suất khi tích hợp với các khung tác nhân lập trình (Codex, Claude Code, OpenCode) cao hơn rõ rệt so với các khung tác nhân web chung
- Ba phương thức tích hợp: BrowserGym/AgentLab, Harbor, hoặc tích hợp tác nhân của riêng bạn thông qua dịch vụ MCP trình duyệt / phương tiện truyền thông; mỗi nhiệm vụ chạy độc lập, cho phép đánh giá song song
- README cho biết có một bộ dữ liệu phát triển riêng, cho phép gỡ lỗi trên bộ dữ liệu phát triển trước khi chạy bộ dữ liệu kiểm thử
Cách sử dụng
- Mã nguồn: https://github.com/McGill-NLP/webarena-pro(MIT)
- Yêu cầu Python 3.12+, Docker và uv: trong thư mục webarena-pro-bgym, chạy uv sync, sau đó dùng uv run webarena-pro run --split dev --site nextcloud --list để xem trước các nhiệm vụ, cấu hình thông tin đăng nhập API cho tác nhân và bộ đánh giá trước khi chạy các lô nhiệm vụ nhỏ
Rủi ro
- Cần khởi chạy nhiều container trang web cục bộ; một phần việc chấm điểm sử dụng mô hình để đánh giá, yêu cầu cấu hình thông tin đăng nhập API riêng
- Kết quả do các tác giả báo cáo; mục này chưa được chạy thử
Mở · Mã nguồn · Trang bài báo