GTAGym : Évaluation et entraînement d'agents via les missions scénarisées de GTA V

GTAGym adapte les missions principales de GTA V pour créer GTAVBench : 103 tâches en ligne 3D (neuf catégories) ainsi que 47 tâches de tir et de sniper basées sur les graphismes de GTA V. Les agents interagissent via des captures d'écran et des actions clavier/souris, tandis que les résultats sont automatiquement déterminés par l'état du moteur. Il existe également une branche GTAVBench-AGI, où les instructions de la tâche n'apparaissent que dans la première capture d'écran, confiée au framework Codex avec un seul outil de pas de jeu ouvert. Les auteurs ont évalué six modèles de pointe ; la meilleure configuration atteint une précision globale de 70.9%, contre une base humaine de 89.8%. La navigation aérienne, l'interception et l'esquive restent difficiles. Après avoir appliqué un apprentissage par renforcement LoRA à Qwen3.8-27B sur des tâches de navigation piétonne générées, la performance sur les tâches natives de GTA V est passée de 15% à 23%.

Titre original : GTAGym: Real AAA Game Tasks Environment for Evaluation and Reinforcement Learning

GTAGym adapte les missions principales de GTA V pour créer GTAVBench : 103 tâches en ligne 3D (neuf catégories) ainsi que 47 tâches de tir et de sniper basées sur les graphismes de GTA V. Les agents interagissent via des captures d'écran et des actions clavier/souris, tandis que les résultats sont automatiquement déterminés par l'état du moteur. Il existe également une branche GTAVBench-AGI, où les instructions de la tâche n'apparaissent que dans la première capture d'écran, confiée au framework Codex avec un seul outil de pas de jeu ouvert. Les auteurs ont évalué six modèles de pointe ; la meilleure configuration atteint une précision globale de 70.9%, contre une base humaine de 89.8%. La navigation aérienne, l'interception et l'esquive restent difficiles. Après avoir appliqué un apprentissage par renforcement LoRA à Qwen3.8-27B sur des tâches de navigation piétonne générées, la performance sur les tâches natives de GTA V est passée de 15% à 23%.

Pourquoi c'est important Les résultats des grandes tâches de jeu sont difficiles à évaluer automatiquement ; ici, ils sont notés directement par l'état du moteur. De plus, les tâches peuvent être générées en masse selon des modèles pour l'apprentissage par renforcement.

J'aime 12 · Étoiles du code 10

Raisons

  • Jouez à toutes les 150 tâches directement dans le navigateur sans installation ; l'environnement 3D est construit sur le projet open source GTA_SZ en utilisant Babylon.js.
  • L'évaluation enregistre les captures d'écran, les actions, les vidéos compressées, la consommation de tokens et les résumés de raisonnement renvoyés par le modèle ; le générateur de tâches permet d'échantillonner des paramètres tels que les itinéraires, les objectifs et les durées au sein des modèles, en attribuant automatiquement les récompenses et les signaux de terminaison.
  • Les tâches de test sont également disponibles sur le jeu de données Hugging Face OpenMOSS-Team/GTAVBench.

Utilisation

  • Code : page tasks.html https://github.com/ljbro/GTAGym;在线试玩见项目的
  • Local : lancez npm ci, npm run build, puis npm start -- --port 4200 pour démarrer le service de jeu, ensuite utilisez npm run eval:json ou npm run eval:codex pour spécifier la configuration du modèle à évaluer.

Risques

  • Les tâches 3D s'exécutent dans un environnement urbain reconstruit via navigateur, et non dans le jeu original ; les tâches natives de GTA V sont vérifiées manuellement par visionnage vidéo.
  • Les ressources graphiques impliquent des images du jeu Rockstar ; les licences de chaque ressource sont listées séparément dans licenses/ ; les scores sont rapportés par les auteurs et n'ont pas été reproduits dans cette entrée.

Ouvrir · Code · Page du papier sur Hugging Face

Hugging Face Daily Papers

Parcourir les dernières actualités IA