Набор сред для веб-агентов, созданный Университетом Северной Каролины в Чапел-Хилле и Microsoft: с помощью кодовых агентов (таких как Claude Code / Codex) создаются 153 локальных образов Docker на основе реальных веб-сайтов, воспроизводящих интерфейс, контент и функциональные процессы, такие как вход в систему, корзина и бронирование. Визуальная точность, функциональная корректность и валидность задач проверяются вручную; среда расширяется по мере появления новых требований к задачам. Набор включает 3,518 задач (включая многошаговые и пост-авторизационные процессы), для каждого сайта предусмотрен валидатор, выдающий награду 0/1, а контрольный интерфейс позволяет сбрасывать базу данных между эпизодами. Авторы использовали этот набор для обучения с подкреплением GUI-агентов уровня 4B, а затем оценивали их на сайтах и задачах, не виденных во время обучения.
Лайков: 19 · Звёзд на GitHub: 46
Обоснование
- Авторы утверждают, что модель WebHarbor-4B (Qwen3-VL 4B, обученная на базе OpenWebRL-4B-SFT) только в синтетической среде WebHarbor, показывает средний результат 75.8 на бенчмарках WebVoyager и Online-Mind2Web; согласно карточке модели, результаты составляют 81.2 для WebVoyager и 70.4 для Online-Mind2Web; ни один из 15 сайтов WebVoyager не участвовал в обучении.
- Решение давней проблемы оценки и обучения на реальных сайтах: изменение контента, капча, географические ограничения, стены авторизации. Локальные образы обеспечивают стабильность и воспроизводимость; авторы заявляют, что сброс базы данных занимает менее секунды, что подходит для большого количества эпизодов RL.
- Готово к использованию: один образ на Docker Hub (wildawm/webharbor) содержит все 153 сайтов (около 20 ГБ), задачи в формате Harbor размещены на Hugging Face (ChilleD/WebHarbor-Tasks) с разделением на обучающую выборку (2,288 задач), тестовую выборку (306 задач) и т.д.; модель ChilleD/WebHarbor-4B можно запустить на одной видеокарте; количество лайков на Hugging Face за день — 19, звёзд на GitHub — 46 (отражают только уровень внимания).
Использование
- Запуск среды: export WEBSYN_CONTROL_TOKEN=<случайная строка длиной не менее 32 символов>, docker run -e WEBSYN_CONTROL_TOKEN -p 8101:8101 -p 40000-40152:40000-40152 wildawm/webharbor:latest, агент обращается к портам 40000–40152 на localhost; команда curl -H "Authorization: Bearer $WEBSYN_CONTROL_TOKEN" -X POST http://localhost:8101/reset/amazon сбрасывает один сайт, /reset-all сбрасывает все сайты.
- Запуск задач: uv tool install harbor==0.24.0, в директории harbor/ репозитория выполните harbor run --repo https://huggingface.co/datasets/ChilleD/WebHarbor-Tasks -d [email protected] -a webharbor_agents.openwebrl:OpenWebRLWebHarbor -m openai/<имя модели>, тестируемая модель подключается через совместимый с OpenAI интерфейс.
- Запуск модели: установите sglang==0.5.6.post2 через pip, выполните python -m sglang.launch_server --model-path ChilleD/WebHarbor-4B --context-length 32768 … (команда запуска на одной карте с 32K контекста, указанная в карточке модели), интерфейс доступен по адресу localhost:30000/v1.
Риски
- Образы имитируют реальные брендовые сайты, такие как Amazon, Chase Bank, American Express; ни в README репозитория, ни в карточке модели не указана лицензия, что необходимо уточнить перед коммерческим использованием или перераспространением.
- Анонимная загрузка с Docker Hub имеет ограничения по частоте; для загрузки множества отдельных образов сайтов требуется выполнить docker login; опциональный агент-рецензент по умолчанию вызывает gpt-5.6-sol, что требует собственного API-ключа.
- Сайты-имитации генерируются моделями и проверяются вручную; отличия от реальных сайтов можно оценить только по описанию процесса проверки в статье; все метрики приведены по данным авторов.