TIGER-AI-Lab/WebsiteBench

WebsiteBench от TIGER-AI-Lab: агенту предоставляется доступ к производственному веб-сайту, который можно исследовать через браузер, с требованием создать полнофункциональную версию, максимально близкую по внешнему виду и поведению. Всего 70 сайтов и 46,916 скрытых тестовых случаев; в каждой задаче от 302 до 2,016 тестовых случаев. Тест считается пройденным, если все функциональные проверки выполнены успешно и нормализованный показатель SSIM для каждого визуального контрольного значения достигает 0.99. Оценка задачи рассчитывается как доля пройденных тестовых случаев. Задачи размещены на Harbor Hub и в датасете Hugging Face.

WebsiteBench от TIGER-AI-Lab: агенту предоставляется доступ к производственному веб-сайту, который можно исследовать через браузер, с требованием создать полнофункциональную версию, максимально близкую по внешнему виду и поведению. Всего 70 сайтов и 46,916 скрытых тестовых случаев; в каждой задаче от 302 до 2,016 тестовых случаев. Тест считается пройденным, если все функциональные проверки выполнены успешно и нормализованный показатель SSIM для каждого визуального контрольного значения достигает 0.99. Оценка задачи рассчитывается как доля пройденных тестовых случаев. Задачи размещены на Harbor Hub и в датасете Hugging Face.

Почему это важно Это значительно сложнее, чем просто генерировать страницу по скриншоту: модели нужно самостоятельно разобраться во взаимодействиях и функциях, при этом как внешний вид, так и поведение должны проходить скрытые тесты.

Количество звёзд 293 (+42 / 24 ч)

Причины

  • За последние 24 часов добавилось 42 звёзд (что отражает только уровень внимания)
  • Правила оценки сформулированы очень конкретно, а определение задач включает механизмы защиты от загрязнения обучающих данных

Использование

  • Установите пакет через pip install websitebench для загрузки задач; после установки Docker и Harbor используйте команду harbor run, указав датасет и агента, чтобы запустить все задачи

Риски

  • Референсные сайты являются копиями сторонних ресурсов и могут использоваться только в некоммерческих исследовательских целях
  • Для выполнения всех задач требуется среда Docker и большое количество вызовов моделей

Открыть

GitHub

Открыть последние новости ИИ