저장대학교 ZIP Lab 등의 소수 스텝 자기회귀 비디오 증류 방법은 긴 비디오에서 피사체나 장면이 화면에서 사라졌다가 다시 나타났을 때 '모양이 변하는' 문제를 해결합니다. 이 방법은 교사가 두 가지 다른 컨텍스트에서 동일한 노이즈가 포함된 학생 블록을 예측하도록 하는데, 두 컨텍스트의 차이는 정보량이 있는 히스토리(학생의 더 초기 단계이고 드리프트가 적은 블록, 또는 카메라가 장면을 계속 비추는 고정 시점의 교사 추론)의 유무입니다. 이 두 예측의 차이를 잔차로 사용하여 가중치를 적용한 후 증류용 점수/속도 목표에 더하고, 학생이 이 수정된 목표에 정렬되도록 합니다. 동일한 프레임워크가 각각 60초 긴 비디오 생성과 '시야 밖 장면 진화' 세계 모델에 적용됩니다.
좋아요 5 · 코드 스타 수 27
이유
- 저자들은 1.3B 모델에서 15초 비디오의 VBench 품질 점수가 85.07, 60초의 VBench-Long 종합 점수가 79.82로, 동급 규모 중 최고라고 주장합니다. 시야 밖 세계 모델링에서는 PlayWorld 진화 품질이 2.35 → 2.70, MemoBench 물체 일관성이 58.43 → 62.18로 향상되었습니다.
- 모든 것이 포함되어 있습니다: 긴 비디오 생성기(Wan2.1-T2V-1.3B 기반), 세계 모델(DreamX-World-5B 기반) 및 AR 교사 세 개의 체크포인트, 학습 데이터와 PlayWorld / MemoBench 평가 입력이 모두 Hugging Face에 있으며, 추론, 학습, 평가 코드는 저장소에 있고 코드는 Apache-2.0 라이선스입니다.
- 첫 번째 추천과 마찬가지로 Wan2.1-1.3B 소수 스텝 자기회귀 경로를 따르며, 하나는 속도를, 다른 하나는 장기 일관성을 해결하므로 비교하며 읽을 수 있습니다.
사용법
- 환경: Linux + NVIDIA GPU(CUDA 12.8 호환), conda로 Python 3.12 환경을 만들고 torch 2.8.0 설치 후 pip install -r requirements.txt를 실행합니다.
- 긴 비디오: hf download Wan-AI/Wan2.1-T2V-1.3B --local-dir models/Wan2.1-T2V-1.3B 및 hf download xzxxntxdy/History-Forcing dmd/model.pt --local-dir models/History-Forcing을 실행한 후, bash scripts/long_video/inference.sh --prompt "…" --output-dir output/demo/long_video를 실행하여 60초 비디오를 생성합니다.
- 세계 모델: Wan2.2-TI2V-5B, GD-ML/DreamX-World-5B 및 opsd/model.pt와 데이터셋을 다운로드한 후, bash scripts/world_model/run.sh inference --checkpoint models/History-Forcing/opsd/model.pt --num-samples 1를 실행합니다(입력은 첫 번째 프레임 이미지, 장면 프롬프트 및 카메라 동작입니다).
리스크
- README에 VRAM 요구 사항이나 생성 속도가 명시되어 있지 않습니다. 학습을 위해 Causal-Forcing 초기화 가중치와 Self-Forcing 프롬프트를 추가로 다운로드해야 하며, W&B로 로그를 기록합니다.
- 체크포인트는 Wan2.1 / Wan2.2 및 DreamX-World를 기반으로 하며, 제3자 구성 요소마다 라이선스가 다르지만 모델 카드에는 라이선스가 별도로 명시되어 있지 않습니다.
- 점수는 저자가 보고한 것이며, PlayWorld 진화 품질의 채점 방식은 논문 본문을 확인해야 합니다. 생성된 비디오를 직접 보지 않았으므로 화면 품질에 대해서는 평가하지 않습니다.
열기 · 코드 · Hugging Face 논문 페이지