原題:Interactive Visual Gym: Evaluating Visual Interaction Models with Simulated Users in Interactive Worlds
ユーザーの作業にリアルタイムで付き添う視覚アシスタントは、その回答がユーザーの次の行動やタスクの結果を変えるため、オフラインのリプレイ型ベンチマークでは測定できません。Interactive Visual Gym は、実行可能なタスク環境と人間ユーザーの両方をシミュレートします。3つのシミュレーターはそれぞれ料理(CookSim)、家事(VH-Home)、スマートフォン設定(ScreenSim)をカバーしており、シミュレーションされたユーザーはペルソナに基づいて行動し、計画通りに操作ミス、質問、計画変更などの予期せぬ事態を挿入します。これを基盤とする IVG-Bench には 315 個のインタラクティブなシナリオが含まれています。著者によると、最も性能の高い Gemini 4 Argon でさえ、時間制限内に 53.4% のタスクしか完了できず、事実根拠と実行可能なガイダンスが弱く、応答遅延を考慮するとエラーを阻止できないことがしばしばあります。人間による研究では、インタラクション品質指標と参加者の選好との一致率は 78.5% でした。
なぜ重要か オフラインのリプレイでは、アシスタントの発言がユーザーの次の行動をどのように変えるかを測定できません。クローズドループ評価では、この影響をスコアに組み込みます
いいね 13 · コードのスター数 8
理由
- 評価と学習の両方に利用可能:著者は GRPO を使用して料理環境で Qwen3.5-4B に対するクローズドループ学習の概念実証を行い、タスク成功率とインタラクション品質の両方が向上しました
- ユーザーはスキルレベル、AIへの信頼度、実行速度、割り込みへの許容度を調整できます。公開リーダーボードがあり、PRを通じてモデルの結果を提出できます
使い方
- コード:https://github.com/SalesforceAIResearch/Interactive-Visual-Gym(Apache-2.0)
- 3つの環境はそれぞれ独立してインストールし、それぞれの Quickstart に従って1ラウンドを実行します。評価フローは、ユースケースの確認 → ラウンドの実行 → 記録の確認 → スコアリング → 完全なベンチマークの実行です
リスク
- シミュレーションされたユーザーと実際の人間の行動には依然としてギャップがあります。インタラクション品質の一部はモデルによって採点されます
- 外部シミュレーターとモデルの重みにはそれぞれ別のライセンスがあります。スコアは著者による報告であり、本項目では実行されていません
開く · コード · 抱きしめたい論文ページ