Phương pháp chưng cất video tự hồi quy ít bước của ZIP Lab thuộc Đại học Chiết Giang và các cộng sự, giải quyết vấn đề chủ thể hoặc cảnh bị "biến dạng" khi rời khỏi khung hình rồi quay lại trong video dài. Cách làm là để giáo viên dự đoán cùng một khối sinh viên có nhiễu trong hai ngữ cảnh — chỉ khác nhau ở một đoạn lịch sử giàu thông tin (các khối sinh viên sớm hơn, ít trôi dạt hơn, hoặc suy luận từ góc nhìn cố định của giáo viên khi camera luôn hướng vào cảnh), sử dụng hiệu giữa hai kết quả làm phần dư, sau đó cộng có trọng số vào mục tiêu score / vận tốc dùng cho việc chưng cất, rồi để sinh viên khớp với mục tiêu đã được hiệu chỉnh này. Cùng một khung được sử dụng riêng biệt cho việc sinh video dài 60 giây và mô hình thế giới "tiến hóa cảnh ngoài tầm nhìn".
Thích 5 · Số sao mã nguồn 27
Lý do
- Các tác giả báo cáo rằng với mô hình 1.3B, điểm chất lượng VBench cho video 15 giây là 85.07, và điểm tổng hợp VBench-Long cho video 60 giây là 79.82, đạt mức tốt nhất trong cùng quy mô; đối với mô hình hóa thế giới ngoài tầm nhìn, chất lượng tiến hóa PlayWorld tăng từ 2.35 lên 2.70, độ nhất quán đối tượng MemoBench tăng từ 58.43 lên 62.18.
- Đầy đủ tài nguyên: bộ sinh video dài (nền tảng Wan2.1-T2V-1.3B), mô hình thế giới (nền tảng DreamX-World-5B) và ba điểm kiểm tra (checkpoint) của giáo viên AR, dữ liệu huấn luyện và đầu vào đánh giá PlayWorld / MemoBench đều có trên Hugging Face, mã nguồn suy luận, huấn luyện và đánh giá nằm trong kho lưu trữ, mã nguồn theo giấy phép Apache-2.0.
- Cùng tuyến đường tự hồi quy ít bước dựa trên Wan2.1-1.3B với đề xuất đầu tiên, một bên giải quyết tốc độ, một bên giải quyết tính nhất quán dài hạn, có thể đọc đối chiếu với nhau.
Cách sử dụng
- Môi trường: Linux + GPU NVIDIA (tương thích CUDA 12.8), tạo môi trường conda với Python 3.12, cài đặt torch 2.8.0 rồi chạy pip install -r requirements.txt.
- Video dài: tải về bằng lệnh hf download Wan-AI/Wan2.1-T2V-1.3B --local-dir models/Wan2.1-T2V-1.3B và hf download xzxxntxdy/History-Forcing dmd/model.pt --local-dir models/History-Forcing, sau đó chạy bash scripts/long_video/inference.sh --prompt "…" --output-dir output/demo/long_video để sinh video 60 giây.
- Mô hình thế giới: tải về Wan2.2-TI2V-5B, GD-ML/DreamX-World-5B và opsd/model.pt cùng với bộ dữ liệu, chạy bash scripts/world_model/run.sh inference --checkpoint models/History-Forcing/opsd/model.pt --num-samples 1 (đầu vào gồm hình ảnh khung đầu tiên, lời nhắc cảnh và hành động camera).
Rủi ro
- README không nêu rõ yêu cầu bộ nhớ VRAM và tốc độ sinh; quá trình huấn luyện yêu cầu tải thêm trọng số khởi tạo Causal-Forcing và lời nhắc Self-Forcing, đồng thời sử dụng W&B để ghi log.
- Các điểm kiểm tra dựa trên Wan2.1 / Wan2.2 và DreamX-World, các thành phần của bên thứ ba có giấy phép riêng, thẻ mô hình không ghi rõ giấy phép riêng.
- Điểm số do các tác giả báo cáo, phương pháp chấm điểm chất lượng tiến hóa PlayWorld cần xem trong nội dung chính của bài báo; chưa xem video được sinh ra nên không đánh giá chất lượng hình ảnh.