WebHarbor:把 153 个真实网站做成本地 Docker 镜像,给网页智能体评测和强化学习(Docking Real Websites for Evolving GUI Agent Environments)

北卡教堂山分校和微软发起的网页智能体环境集:用编码智能体(如 Claude Code / Codex)照着真实网站做出 153 个本地 Docker 镜像,还原界面、内容以及登录、购物车、预订等功能流程,由人工审核视觉还原度、功能正确性和任务有效性;新任务需要什么功能,环境就跟着扩展。配 3,518 道任务(含多步和登录后流程),每个网站有校验器给 0/1 奖励,控制接口能在回合之间重置数据库。作者用它对 4B 级 GUI 智能体做强化学习,再拿到训练没见过的网站和任务上评测。

北卡教堂山分校和微软发起的网页智能体环境集:用编码智能体(如 Claude Code / Codex)照着真实网站做出 153 个本地 Docker 镜像,还原界面、内容以及登录、购物车、预订等功能流程,由人工审核视觉还原度、功能正确性和任务有效性;新任务需要什么功能,环境就跟着扩展。配 3,518 道任务(含多步和登录后流程),每个网站有校验器给 0/1 奖励,控制接口能在回合之间重置数据库。作者用它对 4B 级 GUI 智能体做强化学习,再拿到训练没见过的网站和任务上评测。

点赞 19 · 代码星数 46

理由

  • 作者称只在 WebHarbor 合成环境里训练的 WebHarbor-4B(Qwen3-VL 4B,从 OpenWebRL-4B-SFT 起步)在 WebVoyager 和 Online-Mind2Web 上平均 75.8,模型卡分列 WebVoyager 81.2、Online-Mind2Web 70.4;15 个 WebVoyager 网站全部不参与训练。
  • 针对真实网站做评测和训练的老问题:内容会变、验证码、地域限制、登录墙;本地镜像稳定可复现,作者称数据库重置在亚秒级,适合大量 RL 回合。
  • 能直接用:Docker Hub wildawm/webharbor 一个镜像含全部 153 站(约 20 GB),任务按 Harbor 格式放在抱脸 ChilleD/WebHarbor-Tasks(训练集 2,288 道、测试集 306 道等划分),模型 ChilleD/WebHarbor-4B 单卡可起;抱脸当日点赞 19、代码星数 46(只代表关注度)。

用法

  • 起环境:export WEBSYN_CONTROL_TOKEN=<至少 32 位的随机串>,docker run -e WEBSYN_CONTROL_TOKEN -p 8101:8101 -p 40000-40152:40000-40152 wildawm/webharbor:latest,智能体访问 localhost 的 40000–40152 端口;curl -H "Authorization: Bearer $WEBSYN_CONTROL_TOKEN" -X POST http://localhost:8101/reset/amazon 重置单站,/reset-all 全部重置。
  • 跑任务:uv tool install harbor==0.24.0,在仓库 harbor/ 目录下 harbor run --repo https://huggingface.co/datasets/ChilleD/WebHarbor-Tasks -d [email protected] -a webharbor_agents.openwebrl:OpenWebRLWebHarbor -m openai/<模型名>,被测模型接 OpenAI 兼容接口。
  • 起模型:pip 装 sglang==0.5.6.post2,python -m sglang.launch_server --model-path ChilleD/WebHarbor-4B --context-length 32768 …(模型卡给的单卡 32K 启动命令),接口在 localhost:30000/v1。

风险

  • 镜像仿的是亚马逊、大通银行、美国运通等真实品牌网站,仓库 README 和模型卡都没写许可证,商用或再分发前要确认。
  • 匿名拉 Docker Hub 有频率限制,拉很多单站镜像要先 docker login;可选的智能体评审默认调 gpt-5.6-sol,要自己的 API。
  • 仿站由模型生成、人工审核,与真站的差异只能看论文的审核说明;分数为作者报告。

打开 · 代码 · 抱脸论文页

Hugging Face Daily Papers

浏览最新 AI 动态