Tiêu đề gốc: Efficient-Large-Model/Open-H3-Regenerate-2K
NVIDIA (NVlabs Sana / SoL-Engine) cung cấp một giải pháp thay thế mã nguồn mở cho API H3-Regenerate-2K mã nguồn đóng: Phóng to bản nháp 768P của MiniMax-H3 (1344×768, 121 khung hình) lên 2 lần trong không gian tiềm ẩn (latent space), sau đó sử dụng MiniMax-H3 kết hợp với một LoRA đã hợp nhất để khử nhiễu trong ba bước, xuất ra video 2560×1440; mã nguồn cũng hỗ trợ 1080p và phóng to hai lần lên 4K. LoRA hợp nhất được ghép nối theo hạng (rank) từ ba bộ thích ứng (adapter): Bộ tinh chỉnh Open-H3 (hạng 384), LightX2V FL2VA Turbo v1.2 (hạng 128) và LMS Sharp v1.0 (hạng 64). Tác giả cho biết so với việc gắn riêng lẻ ba bộ thích ứng, sai số tương đối trên toàn bộ 312 lớp tuyến tính chỉ là 2.2e-8. Kho lưu trữ còn bao gồm bộ phóng to không gian tiềm ẩn bằng tích chập 3D của tác giả, bộ giải mã VAE nhanh được chưng cất từ StreamRender-H3 (1.62B tham số) và một bản sao nguyên vẹn của mô hình cơ sở MiniMax-H3. Kho được tạo vào ngày 26 tháng 10, các số trước đó chưa được liệt kê.
Điểm tăng 79 · Lượt thích 223 · Lượt tải 562558
Lý do
- Giải quyết nhu cầu "xuất video nhanh ở độ phân giải thấp trước, khi hài lòng mới xuất 2K", không cần trả phí để gọi API mã nguồn đóng; đầu vào có thể là video nháp H3, các biến tiềm ẩn H3 có sẵn, hoặc thêm --hyperflow để tạo bản nháp 768P từ một câu lệnh (prompt) rồi tinh chỉnh.
- Theo thông tin chính thức, trên một card B200, một đoạn video 5 giây từ biến tiềm ẩn 768P đến 2560×1440: bản gốc dùng cơ chế chú ý dày đặc (dense attention) BF16 mất tổng cộng 87.26 giây; khi chuyển sang cơ chế chú ý thưa (sparse attention) Sol-Attn, MXFP8 và CUDA Graph, thời gian giảm còn 37.39 giây (nhanh gấp 2.33 lần); khi thay thêm bộ giải mã VAE nhanh (giảm thời gian giải mã từ 15 giây xuống 1.6 giây), tổng thời gian là 22.45 giây (nhanh gấp 3.89 lần). README của mã nguồn liệt kê chi tiết mức độ đóng góp của từng tối ưu hóa.
- Lượt tải 562558 và lượt thích 223 (chỉ phản ánh mức độ quan tâm).
Cách sử dụng
- Mã nguồn nằm trong nhánh sol-engine của GitHub NVlabs/Sana, tại thư mục models/Open-H3-Regenerate-2K: Yêu cầu Linux, Python 3.11, PyTorch 2.11 + CUDA 13.0. Chạy pip install -r requirements.txt, sau đó chạy pip install -e ../../techniques/sparse_backends (Sol-Attn, cần thiết để tăng tốc quá trình forward); chạy python download.py --weights ./weights --hyperflow để tải toàn bộ trọng số.
- Nếu đã có bản nháp: python infer.py --weights ./weights --input-video draft.mp4 --prompt "…" --output out.mp4; nếu chỉ có câu lệnh: thêm --hyperflow; để đạt tốc độ nhanh nhất, dùng --fwd sol_engine_fast, để kết quả gần nhất với bản gốc, dùng mặc định sol_engine hoặc --fwd standard; --resolution có thể chọn 768p / 1080p / 2k / 4k, có thể đổi --steps 2 thành hai bước.
- Thiết lập lấy mẫu khi tự tích hợp vào pipeline: Khử nhiễu Euler ba bước, sigmas [0.909375, 0.857143, 0.666667, 0], CFG 1.
Rủi ro
- Các con số về tốc độ đều được đo trên B200 / GB200; MXFP8 và Sol-Attn có yêu cầu cụ thể về card đồ họa và stack phần mềm; tác giả không cung cấp dữ liệu cho card đồ họa tiêu dùng và cũng không có workflow ComfyUI.
- Lần đầu tiên gặp hình dạng biến tiềm ẩn mới, hệ thống cần xây dựng engine và ghi lại CUDA Graph (mất khoảng 39 giây); sol_engine_fast nhanh hơn, nhưng tác giả cho biết chi tiết kết quả sẽ khác biệt nhiều hơn so với bản gốc.
- Giấy phép được kết hợp từ nhiều nguồn: LoRA tinh chỉnh, VAE nhanh và bản sao mô hình cơ sở tuân theo giấy phép cộng đồng MiniMax H3 (bao gồm các điều khoản về khu vực, mục đích sử dụng và tái phân phối); LightX2V Turbo, LMS Sharp và bộ phóng to không gian tiềm ẩn được tích hợp tuân theo giấy phép gốc của chúng, không có một giấy phép thống nhất.