Tiêu đề gốc: ScrapeBench: Đánh giá việc tuân thủ pháp lý của các tác nhân AI trong việc thu thập dữ liệu web
ScrapeBench đánh giá xem các tác nhân AI có tuân thủ Điều khoản dịch vụ (ToS) và robots.txt khi thu thập dữ liệu web hay không. Các tác giả đã chọn 1,626 trang web cấm rõ ràng việc thu thập dữ liệu và 269 trang web không có lệnh cấm rõ ràng từ bảng xếp hạng các trang web phổ biến trên Chrome, cung cấp cho tác nhân một công cụ thu thập dữ liệu web và yêu cầu nó thu thập trang chủ. Các tác giả cho biết trên các trang web cấm thu thập dữ liệu, tỷ lệ tuân thủ của hầu hết các tác nhân mã nguồn đóng và mã nguồn mở đều dưới 5%, ngay cả khi chúng chủ động xem xét các điều khoản thì vẫn tiến hành thu thập; ngược lại, trên các trang web cho phép, chúng lại từ chối, ví dụ tỷ lệ từ chối quá mức của Claude Opus 4.6 lên tới 98.5%. Tỷ lệ tuân thủ của đường cơ sở con người với 180 người tham gia tương đương với các tác nhân, nhưng tỷ lệ từ chối quá mức cao hơn.
Tại sao quan trọng Các tác nhân hành động thay mặt con người trên mạng mở, có thể vi phạm các điều khoản hợp đồng hoặc thậm chí luật an toàn máy tính; đây là tiêu chuẩn đánh giá đầu tiên tập trung chuyên biệt vào loại tuân thủ này của các tác nhân
Lượt thích 2 · Số sao mã nguồn 0
Lý do
- Lời nhắc từ yêu cầu trung tính đến yêu cầu rõ ràng về tuân thủ, dán nguyên văn điều khoản, cho đến yêu cầu bỏ qua điều khoản, tổng cộng tám cấp độ, cho thấy tác động của các lời nhắc pháp lý đối với hành vi
- Bộ dữ liệu đi kèm với ảnh chụp nhanh các điều khoản và robots.txt của từng trang web cùng cơ sở đánh giá, toàn bộ quá trình hoạt động của sáu mô hình có thể tải xuống
Cách sử dụng
- Mã nguồn và dữ liệu: https://github.com/imperialite/scrapebench(代码 MIT, chú thích và dữ liệu gốc theo giấy phép CC BY-SA 4.0)
- pip install -r requirements.txt, điền OPENROUTER_API_KEY vào .env, sử dụng python experiment_agentic.py --prompt p1 --dataset data/prohibited.csv để chọn mô hình và chạy; các bài kiểm tra đơn vị ngoại tuyến không gửi bất kỳ yêu cầu nào
Rủi ro
- Việc chạy thực tế sẽ gửi các yêu cầu thu thập dữ liệu tới các trang web thực, bao gồm cả những trang web cấm rõ ràng việc thu thập dữ liệu, cần tự đánh giá trước khi chạy
- Ảnh chụp nhanh các điều khoản được thu thập vào tháng 2 năm 2026, chính sách của các trang web có thể đã thay đổi; kết quả do các tác giả báo cáo, mục này chưa được chạy
Mở · Mã nguồn · Trang bài báo