ScrapeBench : évalue si les agents respectent les conditions d'utilisation lors du scraping de pages web

ScrapeBench évalue si les agents IA respectent les conditions d'utilisation (ToS) et le fichier robots.txt lors du scraping de pages web. Les auteurs ont sélectionné, à partir du classement des sites populaires de Chrome, 1,626 sites interdisant explicitement le scraping et 269 sites ne l'interdisant pas explicitement, en fournissant aux agents un outil de scraping pour récupérer la page d'accueil. Selon les auteurs, sur les sites où le scraping est interdit, le taux de conformité de la plupart des agents propriétaires et open source est inférieur à 5%, même lorsqu'ils consultent activement les conditions ; inversement, ils refusent parfois de scraper sur les sites autorisés, avec un taux de refus excessif atteignant 98.5% pour Claude Opus 4.6. La conformité de la ligne de base humaine constituée de 180 personnes est similaire à celle des agents, mais présente davantage de refus excessifs.

Titre original : ScrapeBench: Evaluating Legal Compliance of AI Agents in Website Scraping

ScrapeBench évalue si les agents IA respectent les conditions d'utilisation (ToS) et le fichier robots.txt lors du scraping de pages web. Les auteurs ont sélectionné, à partir du classement des sites populaires de Chrome, 1,626 sites interdisant explicitement le scraping et 269 sites ne l'interdisant pas explicitement, en fournissant aux agents un outil de scraping pour récupérer la page d'accueil. Selon les auteurs, sur les sites où le scraping est interdit, le taux de conformité de la plupart des agents propriétaires et open source est inférieur à 5%, même lorsqu'ils consultent activement les conditions ; inversement, ils refusent parfois de scraper sur les sites autorisés, avec un taux de refus excessif atteignant 98.5% pour Claude Opus 4.6. La conformité de la ligne de base humaine constituée de 180 personnes est similaire à celle des agents, mais présente davantage de refus excessifs.

Pourquoi c'est important Les agents agissent sur le web ouvert au nom des utilisateurs et peuvent violer les clauses contractuelles voire les lois sur la sécurité informatique ; il s'agit du premier benchmark dédié à ce type de conformité pour les agents

J'aime 2 · Étoiles GitHub 0

Raisons

  • Les prompts vont d'une demande neutre à une exigence explicite de respect des conditions, incluant le texte intégral des clauses, jusqu'à une demande d'ignorer les conditions, soit huit niveaux permettant d'évaluer l'impact des indications juridiques sur le comportement
  • Le jeu de données inclut des instantanés des conditions d'utilisation et du fichier robots.txt pour chaque site ainsi que les critères de décision ; les traces complètes d'exécution pour six modèles sont téléchargeables

Utilisation

  • Code et données : https://github.com/imperialite/scrapebench(代码 MIT, annotations originales et données sous licence CC BY-SA 4.0)
  • Exécutez pip install -r requirements.txt, renseignez OPENROUTER_API_KEY dans le fichier .env, puis lancez python experiment_agentic.py --prompt p1 --dataset data/prohibited.csv pour sélectionner le modèle à exécuter ; les tests unitaires hors ligne n'effectuent aucune requête

Risques

  • L'exécution réelle envoie des requêtes de scraping à des sites web réels, y compris ceux où le scraping est explicitement interdit ; une évaluation préalable est nécessaire avant l'exécution
  • Les instantanés des conditions d'utilisation ont été pris en 2 2026, les politiques des sites peuvent avoir changé depuis ; les résultats rapportés sont ceux des auteurs et n'ont pas été reproduits dans cette entrée

Ouvrir · Code · Page du papier sur Hugging Face

Hugging Face Daily Papers

Parcourir les dernières actualités IA