TIGER-AI-Lab/WebsiteBench

WebsiteBench は TIGER-AI-Lab によるものです。エージェントにブラウザで探索可能な本番レベルのウェブサイトを提供し、外観と挙動が可能な限り一致するフルスタックの複製をリバースエンジニアリングさせる課題です。合計 70 個のウェブサイトと 46,916 個の隠しテストケースがあり、各タスクには 302 から 2,016 個のケースが含まれます。ケースの機能チェックがすべて通過し、かつ各視覚チェックポイントの正規化 SSIM が 0.99 に達した場合のみ通過とみなされ、タスクのスコアは通過したケースの割合で決まります。タスクは Harbor Hub と Hugging Face データセット上に配置されています。

WebsiteBench は TIGER-AI-Lab によるものです。エージェントにブラウザで探索可能な本番レベルのウェブサイトを提供し、外観と挙動が可能な限り一致するフルスタックの複製をリバースエンジニアリングさせる課題です。合計 70 個のウェブサイトと 46,916 個の隠しテストケースがあり、各タスクには 302 から 2,016 個のケースが含まれます。ケースの機能チェックがすべて通過し、かつ各視覚チェックポイントの正規化 SSIM が 0.99 に達した場合のみ通過とみなされ、タスクのスコアは通過したケースの割合で決まります。タスクは Harbor Hub と Hugging Face データセット上に配置されています。

なぜ重要か モデルにスクリーンショットを見てページを書かせるよりもはるかに難しいです。インタラクションや機能を自ら把握する必要があり、外観と挙動の両方が隠しテストを通過しなければなりません。

スター数 293(+42 / 24時間)

理由

  • 24 時間で新たに 42 スター増加(注目度を示すのみ)
  • 評価ルールが非常に具体的であり、タスク定義には学習汚染防止のための識別子が含まれている

使い方

  • pip install websitebench でタスクをダウンロードします。Docker と Harbor をインストールした後、harbor run コマンドでデータセットとエージェントを指定して全タスクを実行します

リスク

  • 参考サイトは第三者のサイトを複製しているため、非商業的な研究目的でのみ使用可能です
  • 全タスクの実行には Docker 環境と大量のモデル呼び出しが必要です

開く

GitHub

最新の AI ニュースを見る