원제: ScrapeBench: Evaluating Legal Compliance of AI Agents in Website Scraping
ScrapeBench는 AI 에이전트가 웹 스크래핑 시 서비스 약관(ToS)과 robots.txt를 준수하는지 평가합니다. 저자들은 Chrome 인기 웹사이트 순위에서 크롤링이 명시적으로 금지된 웹사이트 1,626개와 명시적으로 금지되지 않은 웹사이트 269개를 선정하고, 에이전트에게 웹 페이지 크롤링 도구를 제공하여 메인 페이지를 크롤링하도록 했습니다. 저자들은 크롤링이 금지된 웹사이트에서 대부분의 폐쇄형 및 오픈소스 에이전트의 준수율이 5% 미만이라고 주장하며, 약관을 능동적으로 확인했음에도 불구하고 크롤링을 수행했습니다. 반대로 허용된 웹사이트에서는 거부하는 경향이 있었는데, 예를 들어 Claude Opus 4.6의 과도한 거부율은 98.5%에 달했습니다. 180명의 인간 기준선 준수율은 에이전트와 유사했지만, 과도한 거부는 더 많았습니다.
왜 중요한가 에이전트가 개방형 웹에서 사람을 대신해 행동할 경우 계약 조항이나 컴퓨터 보안법을 위반할 수 있습니다. 이는 이러한 유형의 준수를 전문적으로 테스트하는 최초의 에이전트 벤치마크입니다.
좋아요 2 · 코드 스타 수 0
이유
- 프롬프트는 중립적인 요청부터 명시적인 준수 요구, 약관 원문 제시, 약관 무시 요구까지 총 8단계로 구성되며, 법적 프롬프트가 행동에 미치는 영향을 파악할 수 있습니다.
- 데이터셋에는 각 웹사이트의 약관 및 robots.txt 스냅샷과 판단 근거가 포함되어 있으며, 6개 모델의 전체 궤적(trajectory)을 다운로드할 수 있습니다.
사용법
- 코드 및 데이터: https://github.com/imperialite/scrapebench(代码 MIT 라이선스, 원본 주석 및 데이터는 CC BY-SA 4.0 라이선스
- pip install -r requirements.txt를 실행하고, .env 파일에 OPENROUTER_API_KEY를 입력한 후, python experiment_agentic.py --prompt p1 --dataset data/prohibited.csv 명령어를 사용하여 모델을 선택하고 실행합니다. 오프라인 단위 테스트는 어떤 요청도 보내지 않습니다.
리스크
- 실제 실행 시 크롤링이 명시적으로 금지된 웹사이트를 포함하여 실제 웹사이트에 크롤링 요청을 보내므로, 실행 전에 스스로 평가해야 합니다.
- 약관 스냅샷은 2026년 2월에 채집되었으며, 웹사이트 정책이 변경되었을 수 있습니다. 점수는 저자가 보고한 것이며, 이 항목은 실행되지 않았습니다.