WebsiteBench từ TIGER-AI-Lab: cung cấp cho tác nhân một trang web cấp sản xuất có thể khám phá bằng trình duyệt, yêu cầu nó tái tạo ngược lại một phiên bản full-stack có ngoại hình và hành vi càng giống càng tốt. Tổng cộng có 70 trang web, 46,916 trường hợp kiểm thử ẩn, mỗi nhiệm vụ có từ 302 đến 2,016 trường hợp kiểm thử; một trường hợp kiểm thử được coi là đạt nếu vượt qua tất cả các kiểm tra chức năng và đạt điểm SSIM chuẩn hóa ít nhất 0.99 tại mỗi điểm kiểm tra trực quan; điểm nhiệm vụ là tỷ lệ các trường hợp kiểm thử đạt. Các nhiệm vụ được đặt trên Harbor Hub và Hugging Face Datasets.
Tại sao quan trọng Khó hơn nhiều so với việc yêu cầu mô hình viết trang web dựa trên ảnh chụp màn hình: tác nhân phải tự tìm hiểu các tương tác và chức năng, cả ngoại hình lẫn hành vi đều phải vượt qua các bài kiểm tra ẩn.
Số sao 293 (+42 / 24h)
Lý do
- Tăng 42 sao trong 24 giờ (chỉ phản ánh mức độ quan tâm)
- Quy tắc chấm điểm được viết rất cụ thể, định nghĩa nhiệm vụ có các dấu hiệu nhận dạng để ngăn ngừa ô nhiễm dữ liệu huấn luyện
Cách sử dụng
- Cài đặt websitebench bằng pip để tải các nhiệm vụ; sau khi cài đặt Docker và Harbor, sử dụng lệnh harbor run để chỉ định bộ dữ liệu và tác nhân chạy toàn bộ các nhiệm vụ
Rủi ro
- Các trang web tham khảo sao chép từ các trang web của bên thứ ba, chỉ được phép sử dụng cho mục đích nghiên cứu phi thương mại
- Chạy toàn bộ các nhiệm vụ đòi hỏi môi trường Docker và lượng lớn các lần gọi mô hình