Interactive Visual Gym:用模拟用户闭环评测视觉助手

实时陪用户做事的视觉助手,回答会改变用户接下来的行为和任务结果,离线回放式基准测不出来。Interactive Visual Gym 同时模拟可执行的任务环境和人类用户:三个模拟器分别覆盖做饭(CookSim)、家务(VH-Home)和手机设置(ScreenSim);模拟用户按人设行动,会按计划插入操作失误、提问、改计划等意外。基于它的 IVG-Bench 有 315 个交互场景。作者称表现最好的 Gemini 4 Argon 也只在时限内完成 53.4% 的任务,事实依据和可操作指导偏弱,算上响应延迟后常常来不及阻止错误;人类研究中交互质量指标与参与者偏好一致率 78.5%。

原题:Interactive Visual Gym: Evaluating Visual Interaction Models with Simulated Users in Interactive Worlds

实时陪用户做事的视觉助手,回答会改变用户接下来的行为和任务结果,离线回放式基准测不出来。Interactive Visual Gym 同时模拟可执行的任务环境和人类用户:三个模拟器分别覆盖做饭(CookSim)、家务(VH-Home)和手机设置(ScreenSim);模拟用户按人设行动,会按计划插入操作失误、提问、改计划等意外。基于它的 IVG-Bench 有 315 个交互场景。作者称表现最好的 Gemini 4 Argon 也只在时限内完成 53.4% 的任务,事实依据和可操作指导偏弱,算上响应延迟后常常来不及阻止错误;人类研究中交互质量指标与参与者偏好一致率 78.5%。

为什么重要 离线回放测不出助手的话会怎样改变用户接下来的动作,闭环评测把这部分影响算进成绩

点赞 13 · 代码星数 8

理由

  • 既能评测也能训练:作者用 GRPO 在做饭环境里对 Qwen3.5-4B 做了闭环训练的概念验证,任务成功率和交互质量都有提高
  • 用户可以调技能水平、对 AI 的信任度、执行速度和是否愿意被打断;有公开排行榜,可通过 PR 提交模型结果

用法

  • 代码:https://github.com/SalesforceAIResearch/Interactive-Visual-Gym(Apache-2.0)
  • 三个环境各自独立安装,按各自 Quickstart 跑一回合;评测流程是查看用例 → 跑回合 → 查看记录 → 打分 → 跑完整基准

风险

  • 模拟用户和真人行为仍有差距;交互质量部分由模型打分
  • 外部模拟器和模型权重另有各自许可;成绩为作者报告,本条未运行

打开 · 代码 · 抱脸论文页

Hugging Face Daily Papers

浏览最新 AI 动态