pi-H3: Bộ thích ứng tăng tốc H3 tạo video có âm thanh chỉ trong hai đến bốn bước

Bộ thích ứng số bước ít MiniMax H3 do Hansheng Chen và các cộng sự tại Đại học Stanford (một phần công việc được thực hiện tại Luma AI) 11 tháng 12 tải lên, hỗ trợ tạo video từ văn bản, khung hình đầu, khung hình cuối và điều kiện khung hình đầu-cuối, đồng thời tạo ra âm thanh đồng bộ. Phương pháp kết hợp quá trình chưng cất ít bước không cần dữ liệu của pi-Flow v2 và DWD (Decoding Without a Decoder, bài báo arXiv 2611.22287): bước cuối cùng do mạng khử nhiễu trực tiếp dự đoán pixel, không còn đi qua bộ giải mã VAE, VAE chỉ được dùng để mã hóa khung hình đầu và cuối. Có tổng cộng bốn bộ thích ứng: phiên bản DWD và phiên bản sử dụng giải mã VAE cho cả 2 bước và 4 bước, phiên bản DWD còn có tệp INT8 ConvRot chỉ dành cho ComfyUI, tác giả khuyến nghị sử dụng phiên bản DWD.

Tiêu đề gốc: Lakonik/pi-H3

Bộ thích ứng số bước ít MiniMax H3 do Hansheng Chen và các cộng sự tại Đại học Stanford (một phần công việc được thực hiện tại Luma AI) 11 tháng 12 tải lên, hỗ trợ tạo video từ văn bản, khung hình đầu, khung hình cuối và điều kiện khung hình đầu-cuối, đồng thời tạo ra âm thanh đồng bộ. Phương pháp kết hợp quá trình chưng cất ít bước không cần dữ liệu của pi-Flow v2 và DWD (Decoding Without a Decoder, bài báo arXiv 2611.22287): bước cuối cùng do mạng khử nhiễu trực tiếp dự đoán pixel, không còn đi qua bộ giải mã VAE, VAE chỉ được dùng để mã hóa khung hình đầu và cuối. Có tổng cộng bốn bộ thích ứng: phiên bản DWD và phiên bản sử dụng giải mã VAE cho cả 2 bước và 4 bước, phiên bản DWD còn có tệp INT8 ConvRot chỉ dành cho ComfyUI, tác giả khuyến nghị sử dụng phiên bản DWD.

Tại sao quan trọng Giảm quy trình tạo video có âm thanh đồng bộ của H3 xuống còn hai đến bốn bước, đồng thời loại bỏ bộ giải mã video; tác giả cung cấp quy trình làm việc ComfyUI và phiên bản INT8, có thể thử nghiệm trên card đồ họa tiêu dùng

Điểm tăng 55 · Lượt thích 75 · Lượt tải xuống 0

Lý do

  • Tốc độ được tác giả cung cấp trong tài liệu ComfyUI: 2 bước DWD + INT8 + sự chú ý thưa Sol, trên RTX 3090 (CUDA 13) tạo video 5 giây ở độ phân giải 864×480 trong 15.5 giây, video 10 giây trong 37.3 giây, và video 5 giây ở độ phân giải 1344×768 trong 38.5 giây (mô hình đã được tải, lời nhắc đã được mã hóa)
  • Kho mã nguồn đồng thời cung cấp lượng tử hóa FP8 và sự chú ý thưa Sol; trên Hugging Face có Space demo trực tuyến của tác giả, so sánh chất lượng và tốc độ có trên blog của tác giả
  • Cả bốn bộ thích ứng đều hỗ trợ điều kiện văn bản, khung hình đầu và khung hình cuối, việc chuyển đổi giữa 2 bước và 4 bước chỉ cần thay đổi một tham số

Cách sử dụng

  • ComfyUI: Cài đặt nút ComfyUI-piFlow, kéo tệp pi-H3-DWD.json vào; sử dụng mô hình cơ bản minimax_h3_fl2va_pruned_int8_convrot từ Comfy-Org/MiniMax-H3, đặt bộ thích ứng vào thư mục models/loras, chuyển đổi giữa 2 bước hoặc 4 bước trên nút pi-H3 Adapter
  • diffusers: Cài đặt theo tài liệu pi-H3 của LakonLab v0.3, sử dụng load_lakonlab_adapter để tải bộ thích ứng pi_h3_4step_dwd_adapter từ Lakonik/pi-H3; truyền khung hình đầu và cuối bằng image= / last_image=
  • Dùng thử trực tuyến: https://huggingface.co/spaces/Lakonik/pi-H3

Rủi ro

  • Bộ thích ứng là mô hình phái sinh của MiniMax H3, được phân phối theo giấy phép cộng đồng của MiniMax H3, hãy xem xét các điều khoản giấy phép trước khi sử dụng cho mục đích thương mại
  • Cần mã LakonLab của tác giả hoặc nút tùy chỉnh ComfyUI-piFlow, không phải tính năng gốc của ComfyUI; bảng tốc độ được tác giả đo trên 3090 với gpu-unlock được bật, mục này chưa được chạy thử

Mở

Hugging Face Trending

Xem tin AI mới nhất