TIGER-AI-Lab/WebsiteBench

WebsiteBench provient de TIGER-AI-Lab : l'agent se voit confier un site web de production qu'il peut explorer via un navigateur, avec pour mission d'en reproduire en rétro-ingénierie une version full-stack dont l'apparence et le comportement sont aussi fidèles que possible. Le benchmark comprend 70 sites et 46,916 cas de test cachés, chaque tâche contenant entre 302 et 2,016 cas ; un cas est validé si tous ses contrôles fonctionnels réussissent et si la SSIM normalisée atteint 0.99 pour chaque point de contrôle visuel. Le score de la tâche correspond à la proportion de cas validés. Les tâches sont hébergées sur Harbor Hub et sur les jeux de données Hugging Face.

WebsiteBench provient de TIGER-AI-Lab : l'agent se voit confier un site web de production qu'il peut explorer via un navigateur, avec pour mission d'en reproduire en rétro-ingénierie une version full-stack dont l'apparence et le comportement sont aussi fidèles que possible. Le benchmark comprend 70 sites et 46,916 cas de test cachés, chaque tâche contenant entre 302 et 2,016 cas ; un cas est validé si tous ses contrôles fonctionnels réussissent et si la SSIM normalisée atteint 0.99 pour chaque point de contrôle visuel. Le score de la tâche correspond à la proportion de cas validés. Les tâches sont hébergées sur Harbor Hub et sur les jeux de données Hugging Face.

Pourquoi c'est important C'est bien plus difficile que de demander au modèle de recopier une page à partir d'une capture d'écran : il doit découvrir lui-même les interactions et les fonctionnalités, et son apparence comme son comportement doivent passer des tests cachés.

Nombre d'étoiles 293 (+42 / 24h)

Raisons

  • 42 nouvelles étoiles en 24 heures (indicateur de popularité uniquement)
  • Les règles d'évaluation sont très précises, et la définition des tâches inclut des identifiants pour prévenir la contamination par l'entraînement

Utilisation

  • Installez les tâches avec pip install websitebench ; une fois Docker et Harbor configurés, utilisez harbor run en spécifiant le jeu de données et l'agent pour exécuter toutes les tâches

Risques

  • Les sites de référence sont des copies de sites tiers et ne peuvent être utilisés que pour la recherche non commerciale
  • L'exécution complète des tâches nécessite un environnement Docker et un grand nombre d'appels de modèles

Ouvrir

GitHub

Parcourir les dernières actualités IA