原題:ScrapeBench: Evaluating Legal Compliance of AI Agents in Website Scraping
ScrapeBenchは、AIエージェントがWebスクレイピングを行う際に利用規約(ToS)やrobots.txtを遵守するかを評価する。著者はChromeの人気サイトランキングから、スクレイピングを明確に禁止しているサイト1,626件と、明確な禁止がないサイト269件を選定し、エージェントにWebスクレイピングツールを与えてトップページをスクレイピングさせた。著者によると、スクレイピングが禁止されているサイトでは、多くのクローズドソースおよびオープンソースのエージェントの遵守率が5%未満であり、規約を積極的に確認してもスクレイピングを実行していた。逆に、許可されているサイトでは拒否する傾向があり、例えばClaude Opus 4.6の過剰拒否率は98.5%に達した。180人の人間ベースラインの遵守率はエージェントとほぼ同等だが、過剰拒否はより多かった。
なぜ重要か エージェントはオープンWeb上で人間の代わりに行動するため、契約条項やコンピュータセキュリティ法に違反する可能性がある。これは、こうしたコンプライアンスを専門に評価する初のエージェントベンチマークである
いいね 2 · コードのスター数 0
理由
- プロンプトは中立的なリクエストから、遵守の明確な要求、規約原文の提示、規約の無視の要求まで、全8段階で構成されており、法的なプロンプトが行動に与える影響を確認できる
- データセットには各サイトの規約とrobots.txtのスナップショット、および判定根拠が含まれており、6つのモデルの完全な実行トレースをダウンロード可能
使い方
- コードとデータ:https://github.com/imperialite/scrapebench(代码 MITライセンス、独自の注釈とデータはCC BY-SA 4.0)
- pip install -r requirements.txtを実行し、.envにOPENROUTER_API_KEYを設定後、python experiment_agentic.py --prompt p1 --dataset data/prohibited.csvでモデルを選択して実行可能。オフラインのユニットテストではリクエストを送信しない
リスク
- 実際の実行では、スクレイピングが明確に禁止されているサイトを含む実際のWebサイトに対してスクレイピングリクエストが送信されるため、実行前に自己評価が必要
- 規約のスナップショットは2026年2月に取得されたものであり、サイトのポリシーは変更されている可能性がある。成績は著者による報告であり、本項目では実行していない