Оригинальное название: ScrapeBench: Evaluating Legal Compliance of AI Agents in Website Scraping
ScrapeBench оценивает, соблюдают ли ИИ-агенты условия обслуживания (ToS) и файл robots.txt при скрапинге веб-страниц. Авторы выбрали из рейтинга популярных сайтов Chrome 1,626 сайтов с явным запретом на скрапинг и 269 сайтов без такого запрета, предоставили агенту инструмент для скрапинга и попросили его загрузить главную страницу. По словам авторов, на сайтах с запретом уровень соблюдения у большинства закрытых и открытых агентов составляет менее 5%, даже если они активно проверяли условия; наоборот, на разрешенных сайтах они отказываются выполнять задачу, например, уровень избыточного отказа у Claude Opus 4.6 достигает 98.5%. Уровень соблюдения у людей (базовая линия из 180 человек) близок к показателям агентов, но у них чаще встречается избыточный отказ.
Почему это важно Агенты действуют в открытой сети от имени пользователей и могут нарушать договорные условия или даже законы о компьютерной безопасности; это первый бенчмарк, специально предназначенный для проверки такого соответствия требованиям у агентов
Лайков 2 · Звёзд на GitHub 0
Обоснование
- Промпты варьируются от нейтрального запроса до явного требования соблюдать условия, цитирования текста условий и требования игнорировать их — всего восемь уровней, что позволяет оценить влияние юридических подсказок на поведение
- Датасет содержит снимки условий обслуживания и файлов robots.txt для каждого сайта, а также обоснования решений; полные траектории работы шести моделей доступны для скачивания
Использование
- Код и данные: https://github.com/imperialite/scrapebench(代码 MIT, оригинальная разметка и данные CC BY-SA 4.0)
- Выполните pip install -r requirements.txt, укажите OPENROUTER_API_KEY в файле .env и запустите python experiment_agentic.py --prompt p1 --dataset data/prohibited.csv для выбора модели; офлайн-модульные тесты не отправляют никаких запросов
Риски
- Реальные запуски отправляют запросы на скрапинг к живым сайтам, включая те, где скрапинг явно запрещен; необходимо самостоятельно оценить риски перед запуском
- Снимки условий были сделаны в 2 месяце 2026 года, политика сайтов могла измениться; результаты приведены по данным авторов, данная запись не выполнялась