gta

이것은 인터랙티브 비디오 월드 모델입니다. 시작 이미지를 입력하고 키를 누르면, 모델이 플레이어의 동작에 따라 프레임 단위로 후속 화면을 생성하여 브라우저로 스트리밍합니다. 저자가 자체 개발한 Summaryformer 아키텍처는 각 프레임에서 전체 화면과 96개의 요약 토큰을 동시에 생성합니다. 최근 두 프레임은 전체 해상도를 유지하고, 이전 프레임은 요약만 남기며, 시작 이미지는 계속 유지됩니다. 저자는 동일한 길이에서 어텐션이 읽어야 할 키의 수가 26,208개에서 6,528개로 감소했다고 주장합니다. 모델은 약 6.3억 개의 파라미터를 가지며, 저자가 직접 구축한 800시간 분량의 GTA5 데이터셋으로 학습되었습니다. 저장소에는 가중치와 전체 추론 서비스가 포함되어 있지만, 학습 코드는 포함되어 있지 않습니다.

이것은 인터랙티브 비디오 월드 모델입니다. 시작 이미지를 입력하고 키를 누르면, 모델이 플레이어의 동작에 따라 프레임 단위로 후속 화면을 생성하여 브라우저로 스트리밍합니다. 저자가 자체 개발한 Summaryformer 아키텍처는 각 프레임에서 전체 화면과 96개의 요약 토큰을 동시에 생성합니다. 최근 두 프레임은 전체 해상도를 유지하고, 이전 프레임은 요약만 남기며, 시작 이미지는 계속 유지됩니다. 저자는 동일한 길이에서 어텐션이 읽어야 할 키의 수가 26,208개에서 6,528개로 감소했다고 주장합니다. 모델은 약 6.3억 개의 파라미터를 가지며, 저자가 직접 구축한 800시간 분량의 GTA5 데이터셋으로 학습되었습니다. 저장소에는 가중치와 전체 추론 서비스가 포함되어 있지만, 학습 코드는 포함되어 있지 않습니다.

왜 중요한가 저자는 소비자용 하드웨어에서 처음부터 학습을 진행했으며, '최근 프레임은 전체 정보를 유지하고 먼 프레임은 요약만 남기는' 메모리 설계를 통해 어텐션 오버헤드를 줄였습니다. 이를 통해 브라우저에서 직접 플레이해 볼 수 있습니다.

좋아요 11 · 상승 점수 11 · 다운로드 0

라이선스: 상업적 사용 가능 · ComfyUI: 없음 · VRAM: VRAM 미표기

이유

  • Apache-2.0 라이선스; 모델 카드는 메모리 메커니즘, 저자의 자체 설계 부분, 참고한 선행 연구 등을 명확히 기술하고 있습니다
  • 온라인 플레이 페이지가 제공되며, 서버 측 프로토콜도 명시되어 있습니다

사용법

  • hf download lucidml/gta --local-dir gta 실행 후 python summary_server.py 실행(기본 3002 포트), 프로토콜에 따라 시작 이미지를 업로드하고 WebSocket을 통해 키 입력을 전송; CUDA GPU 및 PyTorch 필요

리스크

  • 학습 데이터가 GTA5 게임 화면에서 왔으므로, 생성된 콘텐츠는 게임 저작권과 관련되어 있어 상업적 사용 전 신중한 평가가 필요합니다
  • 브라우저 클라이언트는 저장소에 포함되어 있지 않습니다; 하나의 GPU 프로세스는 동시에 한 명의 플레이어만 서비스할 수 있으며, 모델 카드에는 VRAM 요구 사항이 명시되어 있지 않습니다

열기

抱脸 image-to-video 上升榜第 9

최신 AI 소식 보기