확산 비디오 모델이 장시간 생성할 때 카메라의 자기 운동(ego-motion)이 점차 표류하는 문제를 해결합니다. 먼저 선형 프로브와 인과 개입을 통해 Wan2.2에서 어떤 레이어와 어떤 디노이징 단계가 카메라 운동을 인코딩하는지 식별합니다(저자들은 디노이징 진행에 따라 먼저 상승했다가 하강하는 것을 발견했습니다). 그런 다음 해당 레이어의 표현을 3D 파운데이션 모델이 제공하는 '프레임 간 변화' 표현에 정렬하며, 선택된 레이어와 타임스텝에서만 LoRA를 학습합니다.
좋아요 13 · 코드 스타 수 7
이유
- 저자들은 DL3DV 및 RealEstate10K에서 Wan2.2을 미세 조정한 후 운동 정확도, 기하학적 일관성 및 시간적 부드러움이 모두 향상되었으며, 기하학적 일관성은 기본 모델 대비 20% 이상 개선되었고 화질은 유지되었다고 주장합니다.
- 신체화(embodied) 작업으로 전이 가능합니다: 미세 조정된 비디오 모델을 세계-행동 모델(world-action model)로 사용하여 RoboCasa365의 이동 조작 작업에서 성공률이 10 퍼센트 포인트 향상되었습니다(저자 주장).
- 저장소는 완전한 3단계 학습 구현을 포함하며, 레이어 번호, 타임스텝, LoRA 랭크 등의 레시피가 릴리스 설정에 하드코딩되어 있고 일관성 검증 스크립트가 제공됩니다.
사용법
- 코드: github.com/PKU-VaLuE-Lab/CausalAlign (Apache-2.0), Python 3.10/3.11, PyTorch 2.4+, CUDA 12.x, pip install -e '.[wan,test]'; 또한 Wan-AI/Wan2.2-I2V-A14B-Diffusers, LingBot-Map 체크포인트 및 DL3DV / RealEstate10K 데이터가 필요합니다.
- 프로세스: tools/prepare_data.py로 목록 생성 → 교사 특징 추출 및 Wan 입력 캐싱 → torchrun으로 stage1 / stage2 / stage3 순차 실행 → tools/export_lora.py로 병합된 모델 내보내기; 정식 실행 전 tools/validate_release.py로 설정 및 데이터를 확인하십시오.
- 신체화 확장 실험은 wam/ 디렉터리에 있으며, Wan2.2-TI2V-5B를 사용하므로 기본 A14B 산출물과 호환되지 않습니다.
리스크
- 학습된 LoRA가 공개되지 않았으므로 사용하려면 직접 학습해야 합니다; README의 학습 명령어는 단일 머신 8 GPU 기준으로 작성되었으며, 먼저 교사 특징을 추출해야 하므로 컴퓨팅 장벽이 높습니다.
- Wan2.2에서만 구현되었으며, 데이터셋은 직접 신청하여 다운로드해야 합니다; 모든 수치는 저자가 보고한 것이며, 데모 영상을 보지 않았으므로 화질에 대해서는 평가하지 않습니다.
열기 · 코드 · Hugging Face 논문 페이지