WebArena-Pro: Воспроизводимый мультимодальный (включая аудио и видео) бенчмарк для веб-агентов

Существующие воспроизводимые бенчмарки для веб-агентов охватывают лишь несколько типов сайтов, а модальности ограничены текстом и визуальным контентом; онлайн-бенчмарки имеют более широкое покрытие, но страницы и данные в них меняются, что затрудняет воспроизводимость. WebArena-Pro предлагает 300 тестовых задач на 20 самостоятельно размещенных сайтах (шесть доменных категорий) с различными интерфейсными конвенциями, рабочими процессами и моделями данных, при этом аудио и видео рассматриваются как равноправные модальности наблюдения наряду с текстом и изображениями, для чего предусмотрены специальные действия извлечения. Авторы сообщают, что Codex в связке с GPT 6.1 Sol и Claude Code в связке с Claude Opus 5.5 показывают лучшие результаты, оба достигая 62.3%, тогда как OpenCode с Kimi 3.1 Pro показывает 60.7%; наиболее сильные конфигурации GenericAgent — Gemini 3.1 Pro omni и Gemma4 31B — демонстрируют лишь 30.3%. Задачи были написаны через интерфейс аннотирования, отобраны с помощью больших языковых моделей и опубликованы после ручной проверки.

Оригинальное название: WebArena-Pro: A Heterogeneous, Multimodal, Reproducible Benchmark for Web Agents

Существующие воспроизводимые бенчмарки для веб-агентов охватывают лишь несколько типов сайтов, а модальности ограничены текстом и визуальным контентом; онлайн-бенчмарки имеют более широкое покрытие, но страницы и данные в них меняются, что затрудняет воспроизводимость. WebArena-Pro предлагает 300 тестовых задач на 20 самостоятельно размещенных сайтах (шесть доменных категорий) с различными интерфейсными конвенциями, рабочими процессами и моделями данных, при этом аудио и видео рассматриваются как равноправные модальности наблюдения наряду с текстом и изображениями, для чего предусмотрены специальные действия извлечения. Авторы сообщают, что Codex в связке с GPT 6.1 Sol и Claude Code в связке с Claude Opus 5.5 показывают лучшие результаты, оба достигая 62.3%, тогда как OpenCode с Kimi 3.1 Pro показывает 60.7%; наиболее сильные конфигурации GenericAgent — Gemini 3.1 Pro omni и Gemma4 31B — демонстрируют лишь 30.3%. Задачи были написаны через интерфейс аннотирования, отобраны с помощью больших языковых моделей и опубликованы после ручной проверки.

Почему это важно Онлайн-тестирование веб-агентов сложно воспроизвести из-за изменений сайтов; данный бенчмарк полностью самостоятельно размещен и изолирован по задачам, авторы называют его самым широким по покрытию приложений среди воспроизводимых бенчмарков

Лайки 11 · Звезды на GitHub 0

Причины

  • Результаты интеграции с фреймворками программирования агентов (Codex, Claude Code, OpenCode) значительно выше, чем у универсальных фреймворков веб-агентов
  • Три способа интеграции: через BrowserGym/AgentLab, Harbor или подключение собственного агента через сервисы MCP для браузера / медиа; каждая задача выполняется независимо, что позволяет проводить параллельное тестирование
  • В README указано наличие отдельного набора данных для разработки (dev set), который можно использовать для отладки перед запуском на тестовом наборе

Использование

  • Код: https://github.com/McGill-NLP/webarena-pro(MIT)
  • Требуется Python 3.12+, Docker и uv: в каталоге webarena-pro-bgym выполните uv sync, затем используйте uv run webarena-pro run --split dev --site nextcloud --list для предпросмотра задач, настройте API-ключи для агента и оценщика, после чего запустите небольшую партию задач

Риски

  • Необходимо локально запускать контейнеры нескольких сайтов; часть оценки выполняется с помощью моделей, что требует дополнительных API-ключей
  • Результаты приведены по данным авторов; в данном обзоре тесты не запускались

Открыть · Код · Страница статьи на Hugging Face

Hugging Face Daily Papers

Открыть последние новости ИИ