Giải quyết vấn đề trôi dần của chuyển động tự thân (ego-motion) khi các mô hình sinh video khuếch tán tạo ra video dài: trước tiên sử dụng đầu dò tuyến tính và can thiệp nhân quả để xác định những lớp và giai đoạn khử nhiễu nào trong Wan2.2 mã hóa chuyển động camera (các tác giả phát hiện ra rằng mức độ mã hóa tăng rồi giảm theo quá trình khử nhiễu), sau đó căn chỉnh các biểu diễn của những lớp này với biểu diễn “thay đổi giữa các khung hình” được cung cấp bởi một mô hình nền tảng 3D, chỉ huấn luyện LoRA trên các lớp và bước thời gian đã chọn.
Thích 13 · Số sao mã nguồn 7
Lý do
- Các tác giả tuyên bố rằng sau khi tinh chỉnh Wan2.2 trên DL3DV và RealEstate10K, độ chính xác chuyển động, tính nhất quán hình học và độ mượt thời gian đều được cải thiện, với tính nhất quán hình học tăng hơn 20% so với mô hình gốc, trong khi chất lượng hình ảnh vẫn được giữ nguyên.
- Có thể chuyển giao sang các tác vụ embodied: sử dụng mô hình video đã tinh chỉnh làm mô hình hành động thế giới, tỷ lệ thành công trên các tác vụ thao tác di động trong RoboCasa365 tăng 10 điểm phần trăm (theo tuyên bố của các tác giả).
- Kho mã nguồn là một triển khai huấn luyện ba giai đoạn hoàn chỉnh, với các công thức như số lớp, bước thời gian và hạng LoRA được cố định trong cấu hình phát hành, kèm theo các tập lệnh kiểm tra tính nhất quán.
Cách sử dụng
- Mã nguồn: github.com/PKU-VaLuE-Lab/CausalAlign (Apache-2.0), Python 3.10/3.11, PyTorch 2.4+, CUDA 12.x, pip install -e '.[wan,test]'; ngoài ra còn cần Wan-AI/Wan2.2-I2V-A14B-Diffusers, các điểm kiểm tra LingBot-Map và dữ liệu DL3DV / RealEstate10K.
- Quy trình: tools/prepare_data.py tạo danh sách → trích xuất đặc trưng giáo viên và bộ nhớ đệm đầu vào Wan → torchrun chạy lần lượt stage1 / stage2 / stage3 → tools/export_lora.py xuất mô hình đã hợp nhất; trước khi chạy chính thức, hãy sử dụng tools/validate_release.py để kiểm tra cấu hình và dữ liệu.
- Các thí nghiệm mở rộng embodied nằm trong thư mục wam/, sử dụng Wan2.2-TI2V-5B, không tương thích với các sản phẩm mặc định A14B.
Rủi ro
- Không có LoRA đã huấn luyện được phát hành, nếu muốn sử dụng thì phải tự huấn luyện; các lệnh huấn luyện trong README được viết cho máy đơn có 8 GPU, và còn phải trích xuất đặc trưng giáo viên trước, nên yêu cầu về tài nguyên tính toán khá cao.
- Chỉ triển khai trên Wan2.2, dữ liệu cần tự đăng ký và tải về; các con số đều do tác giả báo cáo, chưa xem video demo nên không đánh giá chất lượng hình ảnh.
Mở · Mã nguồn · Trang bài báo