原题:Interactive Visual Gym: Evaluating Visual Interaction Models with Simulated Users in Interactive Worlds
实时陪用户做事的视觉助手,回答会改变用户接下来的行为和任务结果,离线回放式基准测不出来。Interactive Visual Gym 同时模拟可执行的任务环境和人类用户:三个模拟器分别覆盖做饭(CookSim)、家务(VH-Home)和手机设置(ScreenSim);模拟用户按人设行动,会按计划插入操作失误、提问、改计划等意外。基于它的 IVG-Bench 有 315 个交互场景。作者称表现最好的 Gemini 4 Argon 也只在时限内完成 53.4% 的任务,事实依据和可操作指导偏弱,算上响应延迟后常常来不及阻止错误;人类研究中交互质量指标与参与者偏好一致率 78.5%。
为什么重要 离线回放测不出助手的话会怎样改变用户接下来的动作,闭环评测把这部分影响算进成绩
点赞 13 · 代码星数 8
理由
- 既能评测也能训练:作者用 GRPO 在做饭环境里对 Qwen3.5-4B 做了闭环训练的概念验证,任务成功率和交互质量都有提高
- 用户可以调技能水平、对 AI 的信任度、执行速度和是否愿意被打断;有公开排行榜,可通过 PR 提交模型结果
用法
- 代码:https://github.com/SalesforceAIResearch/Interactive-Visual-Gym(Apache-2.0)
- 三个环境各自独立安装,按各自 Quickstart 跑一回合;评测流程是查看用例 → 跑回合 → 查看记录 → 打分 → 跑完整基准
风险
- 模拟用户和真人行为仍有差距;交互质量部分由模型打分
- 外部模拟器和模型权重另有各自许可;成绩为作者报告,本条未运行