ScrapeBench:エージェントがWebスクレイピング時に利用規約を遵守するかを評価

ScrapeBenchは、AIエージェントがWebスクレイピングを行う際に利用規約(ToS)やrobots.txtを遵守するかを評価する。著者はChromeの人気サイトランキングから、スクレイピングを明確に禁止しているサイト1,626件と、明確な禁止がないサイト269件を選定し、エージェントにWebスクレイピングツールを与えてトップページをスクレイピングさせた。著者によると、スクレイピングが禁止されているサイトでは、多くのクローズドソースおよびオープンソースのエージェントの遵守率が5%未満であり、規約を積極的に確認してもスクレイピングを実行していた。逆に、許可されているサイトでは拒否する傾向があり、例えばClaude Opus 4.6の過剰拒否率は98.5%に達した。180人の人間ベースラインの遵守率はエージェントとほぼ同等だが、過剰拒否はより多かった。

原題:ScrapeBench: Evaluating Legal Compliance of AI Agents in Website Scraping

ScrapeBenchは、AIエージェントがWebスクレイピングを行う際に利用規約(ToS)やrobots.txtを遵守するかを評価する。著者はChromeの人気サイトランキングから、スクレイピングを明確に禁止しているサイト1,626件と、明確な禁止がないサイト269件を選定し、エージェントにWebスクレイピングツールを与えてトップページをスクレイピングさせた。著者によると、スクレイピングが禁止されているサイトでは、多くのクローズドソースおよびオープンソースのエージェントの遵守率が5%未満であり、規約を積極的に確認してもスクレイピングを実行していた。逆に、許可されているサイトでは拒否する傾向があり、例えばClaude Opus 4.6の過剰拒否率は98.5%に達した。180人の人間ベースラインの遵守率はエージェントとほぼ同等だが、過剰拒否はより多かった。

なぜ重要か エージェントはオープンWeb上で人間の代わりに行動するため、契約条項やコンピュータセキュリティ法に違反する可能性がある。これは、こうしたコンプライアンスを専門に評価する初のエージェントベンチマークである

いいね 2 · コードのスター数 0

理由

  • プロンプトは中立的なリクエストから、遵守の明確な要求、規約原文の提示、規約の無視の要求まで、全8段階で構成されており、法的なプロンプトが行動に与える影響を確認できる
  • データセットには各サイトの規約とrobots.txtのスナップショット、および判定根拠が含まれており、6つのモデルの完全な実行トレースをダウンロード可能

使い方

  • コードとデータ:https://github.com/imperialite/scrapebench(代码 MITライセンス、独自の注釈とデータはCC BY-SA 4.0)
  • pip install -r requirements.txtを実行し、.envにOPENROUTER_API_KEYを設定後、python experiment_agentic.py --prompt p1 --dataset data/prohibited.csvでモデルを選択して実行可能。オフラインのユニットテストではリクエストを送信しない

リスク

  • 実際の実行では、スクレイピングが明確に禁止されているサイトを含む実際のWebサイトに対してスクレイピングリクエストが送信されるため、実行前に自己評価が必要
  • 規約のスナップショットは2026年2月に取得されたものであり、サイトのポリシーは変更されている可能性がある。成績は著者による報告であり、本項目では実行していない

開く · コード · 論文ページ

Hugging Face Daily Papers

最新の AI ニュースを見る