Интерактивная визуальная среда: оценка визуальных ассистентов с помощью симуляции пользовательского контура обратной связи

Визуальные ассистенты, помогающие пользователям в реальном времени, где ответы влияют на дальнейшие действия и результаты задач, не могут быть оценены с помощью офлайн-бенчмарков на основе воспроизведения записей. Interactive Visual Gym одновременно моделирует исполняемую среду задач и поведение людей: три симулятора охватывают приготовление пищи (CookSim), домашние дела (VH-Home) и настройку телефона (ScreenSim); симулированные пользователи действуют согласно заданным профилям, а в их поведение по плану вносятся такие неожиданности, как ошибки действий, вопросы и изменения планов. Основанный на ней бенчмарк IVG-Bench содержит 315 интерактивных сценариев. По словам авторов, даже лучшая модель Gemini 4 Argon успевает выполнить лишь 53.4% задач в отведенное время, при этом её фактологическая обоснованность и практическая полезность советов слабы, а с учетом задержек ответа она часто не успевает предотвратить ошибки; в исследовании с участием людей согласованность метрик качества взаимодействия с предпочтениями участников составила 78.5%.

Оригинальное название: Interactive Visual Gym: Evaluating Visual Interaction Models with Simulated Users in Interactive Worlds

Визуальные ассистенты, помогающие пользователям в реальном времени, где ответы влияют на дальнейшие действия и результаты задач, не могут быть оценены с помощью офлайн-бенчмарков на основе воспроизведения записей. Interactive Visual Gym одновременно моделирует исполняемую среду задач и поведение людей: три симулятора охватывают приготовление пищи (CookSim), домашние дела (VH-Home) и настройку телефона (ScreenSim); симулированные пользователи действуют согласно заданным профилям, а в их поведение по плану вносятся такие неожиданности, как ошибки действий, вопросы и изменения планов. Основанный на ней бенчмарк IVG-Bench содержит 315 интерактивных сценариев. По словам авторов, даже лучшая модель Gemini 4 Argon успевает выполнить лишь 53.4% задач в отведенное время, при этом её фактологическая обоснованность и практическая полезность советов слабы, а с учетом задержек ответа она часто не успевает предотвратить ошибки; в исследовании с участием людей согласованность метрик качества взаимодействия с предпочтениями участников составила 78.5%.

Почему это важно Офлайн-воспроизведение записей не показывает, как ответы ассистента меняют дальнейшие действия пользователя, а оценка в замкнутом контуре учитывает это влияние при подсчете результатов

Лайки 13 · Звезды на GitHub 8

Причины

  • Подходит как для оценки, так и для обучения: авторы провели концептуальное подтверждение обучения в замкнутом контуре модели Qwen3.5-4B с использованием GRPO в среде приготовления пищи, что привело к повышению успешности выполнения задач и качества взаимодействия
  • Можно настраивать уровень навыков пользователя, доверие к ИИ, скорость выполнения действий и готовность прерываться; существует публичный лидерборд, в который можно добавлять результаты моделей через PR

Использование

  • Код: https://github.com/SalesforceAIResearch/Interactive-Visual-Gym(Apache-2.0)
  • Три среды устанавливаются независимо друг от друга, для запуска одного эпизода следуйте инструкциям Quickstart для каждой из них; процесс оценки включает просмотр примеров → запуск эпизода → просмотр логов → выставление оценок → запуск полного бенчмарка

Риски

  • Поведение симулированных пользователей все еще отличается от поведения реальных людей; часть метрик качества взаимодействия оценивается моделями
  • Внешние симуляторы и веса моделей имеют собственные лицензии; результаты приведены со слов авторов, в данном обзоре они не проверялись

Открыть · Код · Страница статьи на Hugging Face

Hugging Face Daily Papers

Открыть последние новости ИИ