MovieRoll: Tencent Hunyuan의 장편 영상 스트리밍 생성 프레임워크

스트리밍 영상 생성은 학습 길이를 초과한 후에도 품질을 유지하면서 자체 생성된 히스토리와 계속 증가하는 캐시를 처리해야 합니다. MovieRoll은 먼저 윈도우 기반 교사 강제 학습(WinTF)을 통해 다단계 기본 모델을 학습시킵니다. 윈도우 내에서는 점진적 노이즈에 따라 결합 디노이징과 양방향 어텐션을 적용하고, 이전 히스토리에 대해서는 인과적 접근만 수행합니다. 계층적 KV 캐시(HieraKV)는 얕은 층에서는 전체 히스토리를 보존하고, 깊은 층에서는 시작 부분과 최근 조각만 유지하여 저자들은 캐시 메모리를 최대 78%까지 줄일 수 있다고 주장합니다. 이후 누적 긴 튜닝(CuLT-DMD)을 통해 이를 소수 단계 생성기로 증류하며, 추론 시에는 KV 재계산을 통해 컨텍스트를 제한하고, 기본 모델은 AnnealCFG를 사용하여 가이드를 점진적으로 낮춥니다. 저자들은 HeliosBench에서 최대 15초 길이의 영상으로만 학습된 기본 모델이 30초까지도 경쟁력을 유지하며, 증류 모델은 최대 60초 길이의 단일 이벤트 및 다중 이벤트 평가에서 총점이 가장 높았다고 보고했습니다.

원제: MovieRoll: A Systematic Framework for Rolling Out Long-Form Videos

스트리밍 영상 생성은 학습 길이를 초과한 후에도 품질을 유지하면서 자체 생성된 히스토리와 계속 증가하는 캐시를 처리해야 합니다. MovieRoll은 먼저 윈도우 기반 교사 강제 학습(WinTF)을 통해 다단계 기본 모델을 학습시킵니다. 윈도우 내에서는 점진적 노이즈에 따라 결합 디노이징과 양방향 어텐션을 적용하고, 이전 히스토리에 대해서는 인과적 접근만 수행합니다. 계층적 KV 캐시(HieraKV)는 얕은 층에서는 전체 히스토리를 보존하고, 깊은 층에서는 시작 부분과 최근 조각만 유지하여 저자들은 캐시 메모리를 최대 78%까지 줄일 수 있다고 주장합니다. 이후 누적 긴 튜닝(CuLT-DMD)을 통해 이를 소수 단계 생성기로 증류하며, 추론 시에는 KV 재계산을 통해 컨텍스트를 제한하고, 기본 모델은 AnnealCFG를 사용하여 가이드를 점진적으로 낮춥니다. 저자들은 HeliosBench에서 최대 15초 길이의 영상으로만 학습된 기본 모델이 30초까지도 경쟁력을 유지하며, 증류 모델은 최대 60초 길이의 단일 이벤트 및 다중 이벤트 평가에서 총점이 가장 높았다고 보고했습니다.

왜 중요한가 스트리밍 생성은 후반부로 갈수록 품질이 저하되기 쉽습니다. 이 프레임워크는 학습, 증류, 추론을 하나의 통합된 솔루션으로 제공하며, 텍스트-영상 및 이미지-영상 생성 가중치가 모두 공개되었습니다

좋아요 10 · 코드 스타 수 53

이유

  • 세 가지 가중치 공개: 기본 모델(텍스트-영상 + 이미지-영상, 50 단계) 및 텍스트-영상, 이미지-영상용 두 가지 증류 모델(5 단계, CFG 미사용), 모두 HunyuanVideo-1.5 480p 기반
  • 하나의 프롬프트를 사용하거나, 순서대로 여러 이벤트 프롬프트를 제공하여 동일한 영상 내에서 순차적으로 발생하도록 생성 가능
  • 출시와 동시에 SGLang Diffusion 및 vLLM-Omni 지원; 저장소의 agent 디렉토리에는 프롬프트 재작성, 실행, 마이그레이션 등 에이전트 스킬이 포함되어 있어 코딩 에이전트에 직접 전달하여 실행할 수 있음

사용법

  • 코드: https://github.com/Tencent-Hunyuan/MovieRoll(腾讯混元社区许可);权重在抱脸 yunyangge/MovieRoll, 접근 조건 수락 및 로그인 후 다운로드 필요
  • 추가로 HunyuanVideo-1.5의 VAE, Qwen2.5-VL-7B-Instruct 및 byt5-small 등의 텍스트 인코더가 필요; python generate_movieroll.py --model ckpts/movieroll/distilled/t2v --prompt "…" --video-length 721 명령어를 사용하여 약 30초 길이의 영상을 생성하며, 긴 프롬프트일수록 결과가 안정적이고, 내장된 프롬프트 재작성 스킬을 먼저 사용하는 것을 권장

리스크

  • 단일 GPU 추론 시 전체 파이프라인을 VRAM에 로드해야 함(README에 따르면 96GB 그래픽 카드 가능), FlashAttention-3(Hopper 아키텍처) 설치가 필수; 현재 CPU 오프로딩은 지원되지 않으며, 소비자용 그래픽 카드 지원은 계획 중
  • 라이선스는 EU, 영국 및 한국에는 적용되지 않음
  • 성능 수치는 저자 보고 기준; 본 항목은 실행되지 않음

열기 · 코드 · 논문 페이지

Hugging Face Daily Papers

최신 AI 소식 보기