Оригинальное название: Interactive Visual Gym: Evaluating Visual Interaction Models with Simulated Users in Interactive Worlds
Визуальные ассистенты, помогающие пользователям в реальном времени, где ответы влияют на дальнейшие действия и результаты задач, не могут быть оценены с помощью офлайн-бенчмарков на основе воспроизведения записей. Interactive Visual Gym одновременно моделирует исполняемую среду задач и поведение людей: три симулятора охватывают приготовление пищи (CookSim), домашние дела (VH-Home) и настройку телефона (ScreenSim); симулированные пользователи действуют согласно заданным профилям, а в их поведение по плану вносятся такие неожиданности, как ошибки действий, вопросы и изменения планов. Основанный на ней бенчмарк IVG-Bench содержит 315 интерактивных сценариев. По словам авторов, даже лучшая модель Gemini 4 Argon успевает выполнить лишь 53.4% задач в отведенное время, при этом её фактологическая обоснованность и практическая полезность советов слабы, а с учетом задержек ответа она часто не успевает предотвратить ошибки; в исследовании с участием людей согласованность метрик качества взаимодействия с предпочтениями участников составила 78.5%.
Почему это важно Офлайн-воспроизведение записей не показывает, как ответы ассистента меняют дальнейшие действия пользователя, а оценка в замкнутом контуре учитывает это влияние при подсчете результатов
Лайки 13 · Звезды на GitHub 8
Причины
- Подходит как для оценки, так и для обучения: авторы провели концептуальное подтверждение обучения в замкнутом контуре модели Qwen3.5-4B с использованием GRPO в среде приготовления пищи, что привело к повышению успешности выполнения задач и качества взаимодействия
- Можно настраивать уровень навыков пользователя, доверие к ИИ, скорость выполнения действий и готовность прерываться; существует публичный лидерборд, в который можно добавлять результаты моделей через PR
Использование
- Код: https://github.com/SalesforceAIResearch/Interactive-Visual-Gym(Apache-2.0)
- Три среды устанавливаются независимо друг от друга, для запуска одного эпизода следуйте инструкциям Quickstart для каждой из них; процесс оценки включает просмотр примеров → запуск эпизода → просмотр логов → выставление оценок → запуск полного бенчмарка
Риски
- Поведение симулированных пользователей все еще отличается от поведения реальных людей; часть метрик качества взаимодействия оценивается моделями
- Внешние симуляторы и веса моделей имеют собственные лицензии; результаты приведены со слов авторов, в данном обзоре они не проверялись