원제: GTAGym: Real AAA Game Tasks Environment for Evaluation and Reinforcement Learning
GTAGym은 GTA V 메인 스토리 미션을 기반으로 GTAVBench를 구축했습니다. 여기에는 103개의 온라인 3D 미션(9개 카테고리)과 GTA V 화면 기반의 사격 및 저격 미션 47개가 포함되며, 에이전트는 스크린샷과 키보드/마우스 동작을 통해 상호작용하고 결과는 엔진 상태를 통해 자동으로 판정됩니다. 또한 GTAVBench-AGI 분기에서는 미션 설명이 첫 번째 스크린샷에만 나타나며 Codex 프레임워크에 전달되고 게임 스텝 도구 하나만 개방됩니다. 저자들은 6개의 최첨단 모델을 평가했으며, 가장 좋은 구성의 전체 정확도는 70.9%이고 인간 기준선은 89.8%입니다. 항공 내비게이션, 요격 및 회피는 여전히 어려운 과제로 남아 있습니다. 생성된 보행 내비게이션 미션을 사용하여 Qwen3.8-27B에 LoRA 강화 학습을 적용한 후, 원본 GTA V 미션의 성능이 15%에서 23%로 향상되었습니다.
중요성 대형 게임 미션의 결과는 자동 판정이 어렵지만, 이 연구에서는 엔진 상태를 통해 직접 점수를 매기며 템플릿을 기반으로 대량의 미션을 생성하여 강화 학습에 활용할 수 있습니다
좋아요 12 · 코드 스타 수 10
이유
- 설치 없이 브라우저에서 전체 150개의 미션을 플레이할 수 있으며, 3D 환경은 오픈소스 프로젝트 GTA_SZ를 기반으로 Babylon.js를 사용하여 구축되었습니다
- 평가 기록에는 스크린샷, 동작, 압축된 비디오, 토큰 사용량 및 모델이 반환한 추론 요약이 포함되며, 미션 생성기는 템플릿 내에서 경로, 목표, 시간 등의 매개변수를 샘플링하여 보상과 종료 신호를 자동으로 부여합니다
- 테스트 미션도 Hugging Face 데이터셋 OpenMOSS-Team/GTAVBench에 포함되어 있습니다
사용법
- 코드: https://github.com/ljbro/GTAGym;在线试玩见项目的 tasks.html 페이지
- 로컬: npm ci, npm run build, npm start -- --port 4200를 실행하여 게임 서비스를 기동한 후, npm run eval:json 또는 npm run eval:codex를 사용하여 모델 구성을 지정해 평가를 수행합니다
리스크
- 3D 미션은 브라우저에서 재구성된 도시 환경에서 실행되며 원본 게임이 아닙니다. 원본 GTA V 미션의 결과는 사람이 영상을 직접 확인하여 검증합니다
- 화면 자료는 Rockstar의 게임 이미지를 포함하며, 각 자료의 라이선스는 licenses/ 폴더에 별도로 명시되어 있습니다. 성능 수치는 저자가 보고한 것이며 본 항목에서는 재실행하지 않았습니다
열기 · 코드 · Hugging Face 논문 페이지