MovieRoll: Khung sinh video dài dạng stream của Tencent Hunyuan

Sinh video dạng stream cần duy trì chất lượng khi vượt quá độ dài huấn luyện, đồng thời xử lý lịch sử do chính nó tạo ra và bộ nhớ đệm ngày càng tăng. MovieRoll trước tiên sử dụng cơ chế Teacher Forcing theo cửa sổ (WinTF) để huấn luyện mô hình cơ sở đa bước: trong cửa sổ, thực hiện khử nhiễu liên hợp theo mức nhiễu tăng dần với cơ chế chú ý hai chiều, chỉ truy cập nhân quả đối với lịch sử trước đó; bộ nhớ đệm KV phân cấp (HieraKV) giữ lại toàn bộ lịch sử ở các lớp nông, chỉ giữ lại phần đầu và các đoạn gần nhất ở các lớp sâu, các tác giả cho biết bộ nhớ đệm giảm tối đa 78%. Sau đó, sử dụng phương pháp tinh chỉnh dài tích lũy (CuLT-DMD) để chưng cất thành bộ sinh ít bước, khi suy luận dùng tính toán lại KV để giới hạn ngữ cảnh, mô hình cơ sở còn sử dụng AnnealCFG để giảm dần mức độ hướng dẫn. Các tác giả cho biết trên HeliosBench, mô hình cơ sở chỉ được huấn luyện trên video dài tối đa 15 giây vẫn có tính cạnh tranh khi đạt tới 30 giây, còn mô hình chưng cất đạt điểm tổng cao nhất trong các bài đánh giá sự kiện đơn và đa sự kiện với độ dài tối đa 60 giây.

Tiêu đề gốc: MovieRoll: A Systematic Framework for Rolling Out Long-Form Videos

Sinh video dạng stream cần duy trì chất lượng khi vượt quá độ dài huấn luyện, đồng thời xử lý lịch sử do chính nó tạo ra và bộ nhớ đệm ngày càng tăng. MovieRoll trước tiên sử dụng cơ chế Teacher Forcing theo cửa sổ (WinTF) để huấn luyện mô hình cơ sở đa bước: trong cửa sổ, thực hiện khử nhiễu liên hợp theo mức nhiễu tăng dần với cơ chế chú ý hai chiều, chỉ truy cập nhân quả đối với lịch sử trước đó; bộ nhớ đệm KV phân cấp (HieraKV) giữ lại toàn bộ lịch sử ở các lớp nông, chỉ giữ lại phần đầu và các đoạn gần nhất ở các lớp sâu, các tác giả cho biết bộ nhớ đệm giảm tối đa 78%. Sau đó, sử dụng phương pháp tinh chỉnh dài tích lũy (CuLT-DMD) để chưng cất thành bộ sinh ít bước, khi suy luận dùng tính toán lại KV để giới hạn ngữ cảnh, mô hình cơ sở còn sử dụng AnnealCFG để giảm dần mức độ hướng dẫn. Các tác giả cho biết trên HeliosBench, mô hình cơ sở chỉ được huấn luyện trên video dài tối đa 15 giây vẫn có tính cạnh tranh khi đạt tới 30 giây, còn mô hình chưng cất đạt điểm tổng cao nhất trong các bài đánh giá sự kiện đơn và đa sự kiện với độ dài tối đa 60 giây.

Tại sao quan trọng Sinh dạng stream càng về sau càng dễ bị sụp đổ; phương pháp này tích hợp huấn luyện, chưng cất và suy luận vào một giải pháp thống nhất, các trọng số cho văn sinh video và ảnh sinh video đều đã được công bố

Thích 10 · Số sao mã nguồn 53

Lý do

  • Công bố ba bộ trọng số: mô hình cơ sở (văn sinh video + ảnh sinh video, 50 bước) và hai mô hình chưng cất cho văn sinh video, ảnh sinh video (5 bước, không dùng CFG), tất cả đều dựa trên HunyuanVideo-1.5 480p
  • Có thể sử dụng một câu lệnh, hoặc cung cấp nhiều câu lệnh cho các sự kiện theo thứ tự, để chúng diễn ra lần lượt trong cùng một đoạn video
  • Hỗ trợ ngay từ đầu SGLang Diffusion và vLLM-Omni; thư mục agent trong kho lưu trữ kèm theo các kỹ năng agent như viết lại câu lệnh, chạy thử, chuyển đổi, có thể giao trực tiếp cho các tác nhân lập trình thực hiện

Cách sử dụng

  • Mã nguồn: https://github.com/Tencent-Hunyuan/MovieRoll(腾讯混元社区许可);权重在抱脸 yunyangge/MovieRoll, cần chấp nhận các điều kiện truy cập và đăng nhập để tải xuống
  • Cần thêm VAE của HunyuanVideo-1.5, Qwen2.5-VL-7B-Instruct và các bộ mã hóa văn bản như byt5-small; sử dụng lệnh python generate_movieroll.py --model ckpts/movieroll/distilled/t2v --prompt "…" --video-length 721 để tạo video khoảng 30 giây, câu lệnh dài cho hiệu quả ổn định hơn, có thể dùng trước kỹ năng viết lại câu lệnh đi kèm

Rủi ro

  • Suy luận trên một GPU yêu cầu toàn bộ quy trình nằm trong VRAM (README ghi nhận card đồ họa 96GB có thể chạy được), bắt buộc cài đặt FlashAttention-3 (kiến trúc Hopper); chưa hỗ trợ offload CPU, hỗ trợ card đồ họa tiêu dùng vẫn đang trong kế hoạch
  • Giấy phép không áp dụng cho EU, Vương quốc Anh và Hàn Quốc
  • Kết quả do tác giả báo cáo; bài viết này chưa chạy thử

Mở · Mã nguồn · Trang bài báo

Hugging Face Daily Papers

Xem tin AI mới nhất