GTAGym: Оценка и обучение агентов с помощью сюжетных миссий GTA V

GTAGym адаптирует основные миссии GTA V в бенчмарк GTAVBench: 103 онлайн-задач 3D (девять категорий) плюс 47 задач на стрельбу и снайперскую точность, основанных на графике GTA V. Агенты взаимодействуют со средой через скриншоты и действия клавиатуры/мыши, а результаты автоматически определяются по состоянию движка. Существует также ветка GTAVBench-AGI, где описание задачи появляется только на первом скриншоте; она передается в фреймворк Codex с доступом лишь к одному инструменту шага игры. Авторы протестировали шесть передовых моделей: лучшая конфигурация показала общую точность 70.9%, тогда как базовый уровень человека составил 89.8%. Навигация в воздухе, перехват и уклонение остаются сложными задачами. После применения LoRA-обучения с подкреплением к модели Qwen3.8-27B на сгенерированных задачах пешеходной навигации точность выполнения нативных задач GTA V выросла с 15% до 23%.

Оригинальное название: GTAGym: Real AAA Game Tasks Environment for Evaluation and Reinforcement Learning

GTAGym адаптирует основные миссии GTA V в бенчмарк GTAVBench: 103 онлайн-задач 3D (девять категорий) плюс 47 задач на стрельбу и снайперскую точность, основанных на графике GTA V. Агенты взаимодействуют со средой через скриншоты и действия клавиатуры/мыши, а результаты автоматически определяются по состоянию движка. Существует также ветка GTAVBench-AGI, где описание задачи появляется только на первом скриншоте; она передается в фреймворк Codex с доступом лишь к одному инструменту шага игры. Авторы протестировали шесть передовых моделей: лучшая конфигурация показала общую точность 70.9%, тогда как базовый уровень человека составил 89.8%. Навигация в воздухе, перехват и уклонение остаются сложными задачами. После применения LoRA-обучения с подкреплением к модели Qwen3.8-27B на сгенерированных задачах пешеходной навигации точность выполнения нативных задач GTA V выросла с 15% до 23%.

Почему это важно Результаты сложных игровых задач трудно оценивать автоматически, но здесь баллы начисляются напрямую по состоянию движка. Кроме того, задачи можно массово генерировать по шаблонам для обучения с подкреплением.

Лайков: 12 · Звезд на GitHub: 10

Причины

  • Все 150 задач доступны в браузере без установки; среда 3D построена с использованием Babylon.js поверх открытого проекта GTA_SZ.
  • В процессе оценки сохраняются скриншоты, действия, сжатые видео, расход токенов и краткие рассуждения модели. Генератор задач позволяет выбирать параметры маршрутов, целей, времени и другие в рамках шаблонов, автоматически выдавая награды и сигналы завершения.
  • Тестовые задачи также размещены на платформе Hugging Face в наборе данных OpenMOSS-Team/GTAVBench.

Использование

  • Код: страница tasks.html https://github.com/ljbro/GTAGym;在线试玩见项目的.
  • Локально: выполните npm ci, npm run build и запустите игровой сервер командой npm start -- --port 4200, затем проведите оценку с помощью npm run eval:json или npm run eval:codex, указав конфигурацию модели.

Риски

  • Задачи 3D выполняются в воссозданной в браузере городской среде, а не в оригинальной игре; нативные задачи GTA V проверяются вручную по видео.
  • Графические материалы относятся к играм Rockstar, лицензии на каждый материал перечислены отдельно в папке licenses/. Результаты приведены по данным авторов, данная статья не проводила повторных запусков.

Открыть · Код · Страница статьи на Hugging Face

Hugging Face Daily Papers

Открыть последние новости ИИ