WebsiteBench от TIGER-AI-Lab: агенту предоставляется доступ к производственному веб-сайту, который можно исследовать через браузер, с требованием создать полнофункциональную версию, максимально близкую по внешнему виду и поведению. Всего 70 сайтов и 46,916 скрытых тестовых случаев; в каждой задаче от 302 до 2,016 тестовых случаев. Тест считается пройденным, если все функциональные проверки выполнены успешно и нормализованный показатель SSIM для каждого визуального контрольного значения достигает 0.99. Оценка задачи рассчитывается как доля пройденных тестовых случаев. Задачи размещены на Harbor Hub и в датасете Hugging Face.
Почему это важно Это значительно сложнее, чем просто генерировать страницу по скриншоту: модели нужно самостоятельно разобраться во взаимодействиях и функциях, при этом как внешний вид, так и поведение должны проходить скрытые тесты.
Количество звёзд 293 (+42 / 24 ч)
Причины
- За последние 24 часов добавилось 42 звёзд (что отражает только уровень внимания)
- Правила оценки сформулированы очень конкретно, а определение задач включает механизмы защиты от загрязнения обучающих данных
Использование
- Установите пакет через
pip install websitebenchдля загрузки задач; после установки Docker и Harbor используйте командуharbor run, указав датасет и агента, чтобы запустить все задачи
Риски
- Референсные сайты являются копиями сторонних ресурсов и могут использоваться только в некоммерческих исследовательских целях
- Для выполнения всех задач требуется среда Docker и большое количество вызовов моделей