LynnReal-Hand: 손동작으로 제어하는 비디오 세계 모델

인터랙티브 비디오 세계 모델은 텍스트와 카메라를 통해 장면을 탐색할 수 있지만, 물체와 직접 상호작용하려면 더 세밀한 제어가 필요합니다. LynnReal-Hand는 100K개의 실제 및 합성 장면 상호작용 클립을 수집하고, 손에 초점을 맞춘 지도 학습을 통해 손가락 동작과 접촉 디테일을 개선했습니다. 또한 인과적 흐름 매핑을 학습하여 적은 단계로 생성을 수행하고, 영역별 점수 증류를 통해 비디오 및 이미지 사전 지식을 결합했으며, 컴팩트한 Ultra-Fast-VAE 디코더를 추가로 학습하여 지연 시간을 줄였습니다. 저자들은 HandBench에서 전체 시퀀스 모델의 FVD가 181.67, MANO Dice가 93.02이며, 3단계 인과 모델의 Dice가 92.49라고 보고했습니다. 단일 H200에서 540p 스트리밍 생성 시 18.03 FPS, 지연 시간 741ms, 최대 VRAM 사용량 34.89GB를 달성했습니다.

원제: LynnReal-Hand: Unlocking World Interaction with Hand Control

인터랙티브 비디오 세계 모델은 텍스트와 카메라를 통해 장면을 탐색할 수 있지만, 물체와 직접 상호작용하려면 더 세밀한 제어가 필요합니다. LynnReal-Hand는 100K개의 실제 및 합성 장면 상호작용 클립을 수집하고, 손에 초점을 맞춘 지도 학습을 통해 손가락 동작과 접촉 디테일을 개선했습니다. 또한 인과적 흐름 매핑을 학습하여 적은 단계로 생성을 수행하고, 영역별 점수 증류를 통해 비디오 및 이미지 사전 지식을 결합했으며, 컴팩트한 Ultra-Fast-VAE 디코더를 추가로 학습하여 지연 시간을 줄였습니다. 저자들은 HandBench에서 전체 시퀀스 모델의 FVD가 181.67, MANO Dice가 93.02이며, 3단계 인과 모델의 Dice가 92.49라고 보고했습니다. 단일 H200에서 540p 스트리밍 생성 시 18.03 FPS, 지연 시간 741ms, 최대 VRAM 사용량 34.89GB를 달성했습니다.

왜 중요한가 대부분의 인터랙티브 세계 모델은 텍스트와 카메라 제어만 지원하지만, 이 모델은 손을 통해 물체를 직접 잡고 놓을 수 있게 하며, 저자들은 단일 GPU로 실시간 스트리밍 생성이 가능하다고 주장합니다

좋아요 2 · 코드 스타 수 11

이유

  • 전체 시퀀스 Base 모델과 3단계 인과 Fast 모델(미리보기 버전) 두 가지 생성 패키지, 그리고 독립적인 Ultra-Fast-VAE 디코더가 공개되었습니다. 생성 패키지에는 MiniMax H3 원본 VAE와 Qwen 인코더가 포함되어 있습니다
  • 손 뻗기, 잡기, 놓기 및 양손 협응을 지원하며, 카메라 궤적도 동시에 제어할 수 있습니다. 저장소에는 시작 이미지, 손 비디오, 카메라 포즈 및 참조 결과가 포함된 7개의 예제가 제공됩니다
  • Fast 모델은 현재 블록, 이전 블록 및 고정된 첫 번째 프레임만 컨텍스트로 유지하므로, 스트리밍 생성 중 어텐션 캐시가 계속 증가하지 않습니다

사용법

  • 코드: https://github.com/LynnReal-AI/LynnReal(MiniMax H3 커뮤니티 라이선스); 가중치는 Hugging Face의 shaohao011 계정에 있으며, python scripts/download_weights.py --component fast 명령어로 다운로드합니다
  • 먼저 lynnreal-hand validate로 예제 입력을 확인하고(GPU 불필요), lynnreal-hand prepare로 조건부 캐시를 생성한 후, lynnreal-hand infer --config configs/fast.json으로 비디오를 생성합니다. --accelerated 옵션을 추가하면 단일 GPU 가속 경로를 사용합니다

리스크

  • 두 모델 모두 33B 파라미터를 가지며, 참조 환경은 단일 H200입니다. 시작 이미지, 손 비디오 및 카메라 포즈는 시야가 일치하고 프레임 순서가 정렬되어야 하며, 입력은 몇 가지 고정된 프레임 수만 허용합니다
  • MiniMax H3 커뮤니티 라이선스는 EU, 영국, 한국 및 미국에 적용되지 않으며, 상업적 사용에는 추가 조건이 있습니다
  • 성능 지표는 저자들이 보고한 것이며, 본 항목에서는 실행되지 않았습니다

열기 · 코드 · Hugging Face 논문 페이지

Hugging Face Daily Papers

최신 AI 소식 보기