WebsiteBench는 TIGER-AI-Lab에서 제공한 벤치마크로, 에이전트에게 브라우저로 탐색할 수 있는 프로덕션급 웹사이트를 제공하고, 이를 역공학하여 외관과 동작이 최대한 일치하는 풀스택 버전을 구현하도록 요구합니다. 총 70개의 웹사이트와 46,916개의 숨겨진 테스트 케이스가 있으며, 각 작업에는 302에서 2,016개의 케이스가 포함됩니다. 테스트 케이스의 기능 검사가 모두 통과되고, 각 시각적 검사 지점에서 정규화된 SSIM이 0.99에 도달해야 통과로 간주되며, 작업 점수는 통과한 케이스의 비율로 산정됩니다. 해당 작업들은 Harbor Hub와 Hugging Face 데이터셋에 게시되어 있습니다.
왜 중요한가 스크린샷을 보고 페이지를 작성하는 것보다 훨씬 어렵습니다. 에이전트가 직접 인터랙션과 기능을 파악해야 하며, 외관과 동작 모두 숨겨진 테스트를 통과해야 합니다.
스타 수 293 (+42 / 24시간)
이유
- 24시간 동안 스타가 42개 증가함(관심도만 반영)
- 평가 규칙이 매우 구체적으로 명시되어 있으며, 작업 정의에 학습 데이터 오염 방지 식별자가 포함됨
사용법
- pip install websitebench를 통해 작업 다운로드; Docker와 Harbor를 설치한 후 harbor run 명령어로 데이터셋과 에이전트를 지정하여 전체 작업 실행
리스크
- 참고 웹사이트는 제3자 사이트를 복제한 것이므로 비상업적 연구 목적으로만 사용 가능
- 전체 작업을 실행하려면 Docker 환경과 대량의 모델 호출이 필요함