TIGER-AI-Lab/WebsiteBench

WebsiteBench 来自 TIGER-AI-Lab:给智能体一个能用浏览器探索的生产级网站,要求它逆向做出外观和行为尽量一致的全栈版本。共 70 个网站、46,916 个隐藏测试用例,每个任务 302 到 2,016 个用例;用例的功能检查全部通过,且每个视觉检查点的归一化 SSIM 达到 0.99 才算通过,任务得分是通过用例的比例。任务放在 Harbor Hub 和抱脸数据集上。

WebsiteBench 来自 TIGER-AI-Lab:给智能体一个能用浏览器探索的生产级网站,要求它逆向做出外观和行为尽量一致的全栈版本。共 70 个网站、46,916 个隐藏测试用例,每个任务 302 到 2,016 个用例;用例的功能检查全部通过,且每个视觉检查点的归一化 SSIM 达到 0.99 才算通过,任务得分是通过用例的比例。任务放在 Harbor Hub 和抱脸数据集上。

为什么重要 比让模型照截图写页面难得多:要自己摸清交互和功能,外观和行为都要过隐藏测试。

星数 293(+42 / 24h)

理由

  • 24 小时新增 42 星(只代表关注度)
  • 评分规则写得很具体,任务定义带防训练污染的标识

用法

  • pip install websitebench 下载任务;装好 Docker 和 Harbor 后用 harbor run 指定数据集和智能体跑全部任务

风险

  • 参考网站复制了第三方站点,只能用于非商业研究
  • 跑全部任务需要 Docker 环境和大量模型调用

打开

GitHub

浏览最新 AI 动态