Interactive Visual Gym : Évaluation des assistants visuels par boucle de simulation d'utilisateurs

Les assistants visuels qui accompagnent l'utilisateur en temps réel fournissent des réponses qui modifient ses actions suivantes et le résultat de la tâche, ce que les benchmarks hors ligne par relecture ne peuvent pas mesurer. Interactive Visual Gym simule simultanément des environnements de tâches exécutables et des utilisateurs humains : trois simulateurs couvrent respectivement la cuisine (CookSim), les tâches ménagères (VH-Home) et la configuration du téléphone (ScreenSim) ; les utilisateurs simulés agissent selon leur persona et insèrent intentionnellement des imprévus tels que des erreurs d'exécution, des questions ou des changements de plan. IVG-Bench, basé sur cette plateforme, comprend 315 scénarios interactifs. Les auteurs affirment que le meilleur modèle, Gemini 4 Argon, ne termine que 53.4% des tâches dans les délais impartis, avec un soutien factuel et des conseils opérationnels faibles ; en tenant compte de la latence de réponse, il est souvent trop tard pour empêcher les erreurs ; dans l'étude humaine, le taux de concordance entre les métriques de qualité d'interaction et les préférences des participants est de 78.5%.

Titre original : Interactive Visual Gym: Evaluating Visual Interaction Models with Simulated Users in Interactive Worlds

Les assistants visuels qui accompagnent l'utilisateur en temps réel fournissent des réponses qui modifient ses actions suivantes et le résultat de la tâche, ce que les benchmarks hors ligne par relecture ne peuvent pas mesurer. Interactive Visual Gym simule simultanément des environnements de tâches exécutables et des utilisateurs humains : trois simulateurs couvrent respectivement la cuisine (CookSim), les tâches ménagères (VH-Home) et la configuration du téléphone (ScreenSim) ; les utilisateurs simulés agissent selon leur persona et insèrent intentionnellement des imprévus tels que des erreurs d'exécution, des questions ou des changements de plan. IVG-Bench, basé sur cette plateforme, comprend 315 scénarios interactifs. Les auteurs affirment que le meilleur modèle, Gemini 4 Argon, ne termine que 53.4% des tâches dans les délais impartis, avec un soutien factuel et des conseils opérationnels faibles ; en tenant compte de la latence de réponse, il est souvent trop tard pour empêcher les erreurs ; dans l'étude humaine, le taux de concordance entre les métriques de qualité d'interaction et les préférences des participants est de 78.5%.

Pourquoi c'est important Les tests hors ligne par relecture ne mesurent pas comment les réponses de l'assistant modifient les actions suivantes de l'utilisateur ; l'évaluation en boucle fermée intègre cet impact dans le score

J'aime 13 · Étoiles du code 8

Raisons

  • Utilisable à la fois pour l'évaluation et l'entraînement : les auteurs ont réalisé une preuve de concept d'entraînement en boucle fermée sur Qwen3.5-4B dans l'environnement de cuisine via GRPO, améliorant à la fois le taux de réussite des tâches et la qualité des interactions
  • Les utilisateurs peuvent ajuster leur niveau de compétence, leur confiance envers l'IA, leur vitesse d'exécution et leur tolérance aux interruptions ; un classement public est disponible, et les résultats des modèles peuvent être soumis via PR

Utilisation

  • Code : https://github.com/SalesforceAIResearch/Interactive-Visual-Gym(Apache-2.0)
  • Les trois environnements s'installent indépendamment ; exécutez un tour en suivant le Quickstart de chacun ; le flux d'évaluation consiste à consulter les cas d'utilisation → exécuter un tour → consulter les journaux → noter → exécuter le benchmark complet

Risques

  • Il reste un écart entre les utilisateurs simulés et les comportements humains réels ; la qualité des interactions est partiellement notée par des modèles
  • Les simulateurs externes et les poids des modèles ont leurs propres licences ; les scores sont rapportés par les auteurs et n'ont pas été vérifiés par cette entrée

Ouvrir · Code · Page du papier

Hugging Face Daily Papers

Parcourir les dernières actualités IA