WebsiteBench 来自 TIGER-AI-Lab:给智能体一个能用浏览器探索的生产级网站,要求它逆向做出外观和行为尽量一致的全栈版本。共 70 个网站、46,916 个隐藏测试用例,每个任务 302 到 2,016 个用例;用例的功能检查全部通过,且每个视觉检查点的归一化 SSIM 达到 0.99 才算通过,任务得分是通过用例的比例。任务放在 Harbor Hub 和抱脸数据集上。
为什么重要 比让模型照截图写页面难得多:要自己摸清交互和功能,外观和行为都要过隐藏测试。
星数 293(+42 / 24h)
理由
- 24 小时新增 42 星(只代表关注度)
- 评分规则写得很具体,任务定义带防训练污染的标识
用法
- pip install websitebench 下载任务;装好 Docker 和 Harbor 后用 harbor run 指定数据集和智能体跑全部任务
风险
- 参考网站复制了第三方站点,只能用于非商业研究
- 跑全部任务需要 Docker 环境和大量模型调用