GTAGym:GTA Vのストーリーミッションを用いたエージェントの評価と訓練

GTAGymは、GTA VのメインストーリーミッションからGTAVBenchを派生させました。これは103個のオンライン3Dタスク(9カテゴリ)と、GTA Vの画面に基づく47個のシューティングおよびスナイプタスクで構成されています。エージェントはスクリーンショットとキーボード・マウス操作を通じてインタラクションを行い、結果はエンジン状態によって自動的に判定されます。さらに、GTAVBench-AGIという分岐版もあり、タスクの説明は最初のスクリーンショットにのみ表示され、Codexフレームワークに渡され、ゲームのステップ実行ツールのみが公開されています。著者は6つの最先端モデルを評価し、最良の設定での総合精度は70.9%で、人間のベースラインは89.8%でした。空中ナビゲーション、迎撃、回避はまだ難しい課題として残っています。生成された歩行ナビゲーションタスクを用いてQwen3.8-27BにLoRA強化学習を施したところ、ネイティブのGTA Vタスクでの性能が15%から23%へ向上しました。

原題:GTAGym: Real AAA Game Tasks Environment for Evaluation and Reinforcement Learning

GTAGymは、GTA VのメインストーリーミッションからGTAVBenchを派生させました。これは103個のオンライン3Dタスク(9カテゴリ)と、GTA Vの画面に基づく47個のシューティングおよびスナイプタスクで構成されています。エージェントはスクリーンショットとキーボード・マウス操作を通じてインタラクションを行い、結果はエンジン状態によって自動的に判定されます。さらに、GTAVBench-AGIという分岐版もあり、タスクの説明は最初のスクリーンショットにのみ表示され、Codexフレームワークに渡され、ゲームのステップ実行ツールのみが公開されています。著者は6つの最先端モデルを評価し、最良の設定での総合精度は70.9%で、人間のベースラインは89.8%でした。空中ナビゲーション、迎撃、回避はまだ難しい課題として残っています。生成された歩行ナビゲーションタスクを用いてQwen3.8-27BにLoRA強化学習を施したところ、ネイティブのGTA Vタスクでの性能が15%から23%へ向上しました。

なぜ重要か 大規模なゲームタスクの結果は自動判定が難しいですが、ここではエンジン状態によって直接採点が行われ、さらにテンプレートに基づいてタスクを一括生成して強化学習に活用することも可能です

いいね 12 · コードのスター数 10

理由

  • インストール不要で、ブラウザ上で全150個のタスクをプレイ可能。3D環境はオープンソースプロジェクトGTA_SZ上にBabylon.jsを用いて構築されています
  • 評価記録にはスクリーンショット、アクション、圧縮動画、トークン使用量、モデルが返した推論要約が含まれます。タスク生成器はテンプレート内でルート、ターゲット、時間などのパラメータをサンプリングでき、報酬と終了シグナルを自動的に付与します
  • テストタスクもHugging FaceのデータセットOpenMOSS-Team/GTAVBenchに公開されています

使い方

  • コード:https://github.com/ljbro/GTAGym;在线试玩见项目的 tasks.htmlページ
  • ローカル:npm ci、npm run build、npm start -- --port 4200でゲームサーバーを起動し、その後npm run eval:jsonまたはnpm run eval:codexを用いてモデル設定を指定して評価を実行します

リスク

  • 3Dタスクはブラウザ上で再構築された都市環境で実行されており、オリジナルのゲームではありません。ネイティブのGTA Vタスクについては、動画を手動で確認して検証しています
  • 画面素材にはRockstarのゲーム画像が含まれており、各素材のライセンスはlicenses/ディレクトリに別途記載されています。成績は著者による報告であり、本記事では実行検証を行っていません

開く · コード · Hugging Face論文ページ

Hugging Face Daily Papers

最新の AI ニュースを見る