이것은 인터랙티브 비디오 월드 모델입니다. 시작 이미지를 입력하고 키를 누르면, 모델이 플레이어의 동작에 따라 프레임 단위로 후속 화면을 생성하여 브라우저로 스트리밍합니다. 저자가 자체 개발한 Summaryformer 아키텍처는 각 프레임에서 전체 화면과 96개의 요약 토큰을 동시에 생성합니다. 최근 두 프레임은 전체 해상도를 유지하고, 이전 프레임은 요약만 남기며, 시작 이미지는 계속 유지됩니다. 저자는 동일한 길이에서 어텐션이 읽어야 할 키의 수가 26,208개에서 6,528개로 감소했다고 주장합니다. 모델은 약 6.3억 개의 파라미터를 가지며, 저자가 직접 구축한 800시간 분량의 GTA5 데이터셋으로 학습되었습니다. 저장소에는 가중치와 전체 추론 서비스가 포함되어 있지만, 학습 코드는 포함되어 있지 않습니다.
왜 중요한가 저자는 소비자용 하드웨어에서 처음부터 학습을 진행했으며, '최근 프레임은 전체 정보를 유지하고 먼 프레임은 요약만 남기는' 메모리 설계를 통해 어텐션 오버헤드를 줄였습니다. 이를 통해 브라우저에서 직접 플레이해 볼 수 있습니다.
좋아요 11 · 상승 점수 11 · 다운로드 0
라이선스: 상업적 사용 가능 · ComfyUI: 없음 · VRAM: VRAM 미표기
이유
- Apache-2.0 라이선스; 모델 카드는 메모리 메커니즘, 저자의 자체 설계 부분, 참고한 선행 연구 등을 명확히 기술하고 있습니다
- 온라인 플레이 페이지가 제공되며, 서버 측 프로토콜도 명시되어 있습니다
사용법
- hf download lucidml/gta --local-dir gta 실행 후 python summary_server.py 실행(기본 3002 포트), 프로토콜에 따라 시작 이미지를 업로드하고 WebSocket을 통해 키 입력을 전송; CUDA GPU 및 PyTorch 필요
리스크
- 학습 데이터가 GTA5 게임 화면에서 왔으므로, 생성된 콘텐츠는 게임 저작권과 관련되어 있어 상업적 사용 전 신중한 평가가 필요합니다
- 브라우저 클라이언트는 저장소에 포함되어 있지 않습니다; 하나의 GPU 프로세스는 동시에 한 명의 플레이어만 서비스할 수 있으며, 모델 카드에는 VRAM 요구 사항이 명시되어 있지 않습니다