ノースカロライナ大学チャペルヒル校とMicrosoftが主導するウェブエージェント環境セット：コーディングエージェント（Claude Code / Codexなど）を用いて実在のウェブサイトを模した153個のローカルDockerイメージを作成し、UI、コンテンツ、ログイン、ショッピングカート、予約などの機能フローを再現。視覚的な忠実度、機能の正確性、タスクの有効性は人間によるレビューで検証される。新しいタスクに必要な機能に応じて環境も拡張される。3,518件のタスク（マルチステップやログイン後のフローを含む）が用意され、各サイトには検証器があり0/1報酬を付与する。制御インターフェースによりラウンド間でデータベースのリセットが可能だ。著者らはこれを用いて4B規模のGUIエージェントに対して強化学習を実施し、学習時に見ていないウェブサイトやタスクで評価を行った。
いいね数 19 · GitHubスター数 46
理由
- 著者らによると、WebHarbor合成環境でのみ訓練されたWebHarbor-4B（Qwen3-VL 4Bで、OpenWebRL-4B-SFTから開始）は、WebVoyagerおよびOnline-Mind2Webにおいて平均75.8を達成した。モデルカードにはWebVoyagerで81.2、Online-Mind2Webで70.4と記載されている。WebVoyagerの15個のウェブサイトはすべて訓練には使用されていない。
- 実在のウェブサイトを対象とした評価や訓練における従来の課題（コンテンツの変動、CAPTCHA、地域制限、ログインウォール）への対応：ローカルイメージは安定しており再現性がある。著者らによればデータベースのリセットはサブ秒レベルで完了するため、大量の強化学習ラウンドに適している。
- すぐに利用可能：Docker Hubのwildawm/webharborイメージ1つに全153サイトが含まれており（約20 GB）、タスクはHarbor形式でHugging FaceのChilleD/WebHarbor-Tasksに配置されている（訓練セット2,288件、テストセット306件などの分割）。モデルChilleD/WebHarbor-4Bは単一GPUで起動可能。Hugging Faceでの当日いいね数は19、GitHubスター数は46（これは注目度を示すに過ぎない）。
使い方
- 環境の起動：export WEBSYN_CONTROL_TOKEN=<少なくとも32桁のランダム文字列>を実行し、docker run -e WEBSYN_CONTROL_TOKEN -p 8101:8101 -p 40000-40152:40000-40152 wildawm/webharbor:latestで起動する。エージェントはlocalhostのポート40000〜40152にアクセスする。curl -H "Authorization: Bearer $WEBSYN_CONTROL_TOKEN" -X POST http://localhost:8101/reset/amazonで単一サイトをリセットし、/reset-allで全サイトをリセットする。
- タスクの実行：uv tool install harbor==0.24.0を実行後、リポジトリのharbor/ディレクトリ内でharbor run --repo https://huggingface.co/datasets/ChilleD/WebHarbor-Tasks -d [email protected] -a webharbor_agents.openwebrl:OpenWebRLWebHarbor -m openai/<モデル名>を実行する。評価対象モデルはOpenAI互換インターフェースに接続する。
- モデルの起動：pipでsglang==0.5.6.post2をインストールし、python -m sglang.launch_server --model-path ChilleD/WebHarbor-4B --context-length 32768 …（モデルカードに記載されている単一GPUでの32Kコンテキスト長での起動コマンド）を実行する。インターフェースはlocalhost:30000/v1で提供される。
リスク
- イメージはAmazon、Chase Bank、American Expressなどの実在ブランドのウェブサイトを模しているが、リポジトリのREADMEやモデルカードにライセンスが明記されていないため、商用利用や再配布前に確認が必要である。
- Docker Hubからの匿名プルにはレート制限があるため、多数の単一サイトイメージをプルする場合は事前にdocker loginを行う必要がある。オプションのエージェント評価機能はデフォルトでgpt-5.6-solを呼び出すため、自身のAPIキーが必要となる。
- 模倣サイトはモデルによって生成され人間がレビューしているため、実サイトとの差異は論文のレビュー説明を参照するしかない。スコアは著者らによる報告値である。
開く · コード · Hugging Face論文ページ