ScrapeBench:测智能体爬网页时是否遵守条款

ScrapeBench 评测 AI 智能体在网页抓取时是否遵守服务条款(ToS)和 robots.txt。作者从 Chrome 热门网站榜单选出 1,626 个明确禁止爬取的网站和 269 个没有明确禁止的网站,给智能体一个抓取网页的工具,让它抓首页。作者称在禁止爬取的网站上,大多数闭源和开源智能体遵守率低于 5%,即使主动查看了条款也照样抓;反过来在允许的网站上又会拒绝,例如 Claude Opus 4.6 的过度拒绝率达 98.5%。180 人的人类基线遵守率与智能体相近,但过度拒绝更多。

原题:ScrapeBench: Evaluating Legal Compliance of AI Agents in Website Scraping

ScrapeBench 评测 AI 智能体在网页抓取时是否遵守服务条款(ToS)和 robots.txt。作者从 Chrome 热门网站榜单选出 1,626 个明确禁止爬取的网站和 269 个没有明确禁止的网站,给智能体一个抓取网页的工具,让它抓首页。作者称在禁止爬取的网站上,大多数闭源和开源智能体遵守率低于 5%,即使主动查看了条款也照样抓;反过来在允许的网站上又会拒绝,例如 Claude Opus 4.6 的过度拒绝率达 98.5%。180 人的人类基线遵守率与智能体相近,但过度拒绝更多。

为什么重要 智能体在开放网络上替人行动,可能违反合同条款甚至计算机安全法;这是首个专测这类合规的智能体基准

点赞 2 · 代码星数 0

理由

  • 提示词从中性请求到明确要求遵守、贴出条款原文、再到要求忽略条款,共八级,可以看出法律提示对行为的影响
  • 数据集附每个网站的条款和 robots.txt 快照及判定依据,六个模型的完整轨迹可下载

用法

  • 代码和数据:https://github.com/imperialite/scrapebench(代码 MIT,原创标注和数据 CC BY-SA 4.0)
  • pip install -r requirements.txt,在 .env 填 OPENROUTER_API_KEY,用 python experiment_agentic.py --prompt p1 --dataset data/prohibited.csv 选模型运行;离线单元测试不发任何请求

风险

  • 实际运行会对真实网站发出抓取请求,其中包括明确禁止爬取的网站,运行前要自行评估
  • 条款快照采于 2026 年 2 月,网站政策可能已变;成绩为作者报告,本条未运行

打开 · 代码 · 抱脸论文页

Hugging Face Daily Papers

浏览最新 AI 动态