akhaliq đã ghép theo từng lớp bộ điều hợp phong cách Pika-H3-Flex chính thức của Pika và LoRA chưng cất ít bước của MiniMax-H3 (lightx2v Turbo, pDMD 2 bước) thành một LoRA tiêu chuẩn duy nhất: chỉ cần đưa vào quy trình MiniMax-H3 thông thường, bạn có thể tạo video có âm thanh với 2, 4 hoặc 8 bước mà không cần nút tùy chỉnh hay sửa đổi mô hình. Bản thân Pika-H3-Flex đã được ghi nhận vào ngày 30 tháng 10, còn phiên bản tổng hợp này chưa được ghi nhận trong các số trước đó.
Điểm tăng 78 · Lượt thích 78 · Lượt tải 28961
Lý do
- Tác giả đo được (848×480, 121 khung hình có âm thanh nổi, CFG 1): trên H200, bộ điều hợp chính thức của Pika mất khoảng 60 giây cho mỗi đoạn video 5 giây với 6 bước, LoRA này mất khoảng 40 giây với 4 bước và khoảng 25 giây cho bản nháp với 2 bước; trên A100 là 109.3 giây so với 66.0 giây. Toàn bộ tốc độ tăng thêm đều nhờ giảm số bước, thời gian mỗi bước không đổi.
- Phương pháp là ghép hạng (rank concatenation), tác giả cho biết nó tương đương về mặt số học với việc tải đồng thời hai LoRA (sai số tương đối mỗi lớp ở mức 1e-7), không phải là hợp nhất xấp xỉ; cường độ phong cách Flex được cố định ở mức 0.5 (2 / 4 bước) và 0.6 (8 bước HD).
- Có tổng cộng bảy tệp, chia thành hai loại: FL2VA (văn bản sang hình ảnh / hình ảnh sang hình ảnh thông thường) và Ref2VA (nhiều tham chiếu); ngoài ra còn có phiên bản nhẹ với hạng 32, dung lượng 0.31 GB, tác giả cho biết giữ lại 96.1% năng lượng phổ. Kho lưu trữ kèm theo video so sánh và tập lệnh tái hiện.
Cách sử dụng
- ComfyUI: Chọn tệp phù hợp với quy trình và đặt vào thư mục models/loras (dùng fl2va cho văn bản sang hình ảnh / hình ảnh sang hình ảnh thông thường, dùng ref2va cho quy trình dùng hình ảnh tham chiếu), thêm LoraLoaderModelOnly vào quy trình làm việc MiniMax-H3, cường độ 1.0.
- Lấy mẫu: Số bước tương ứng với tệp (2, 4 hoặc 8 bước), CFG 1.0, bộ lấy mẫu euler / lcm / res_multistep, bộ điều phối simple; dùng shift video là 6.0 (FL2VA) hoặc 12.0 (Ref2VA), shift âm thanh là 3.0.
- Trước tiên dùng phiên bản 2 bước để xác định bố cục và chuyển động, khi chốt bản cuối cùng thì dùng phiên bản 4 bước hoặc 8 bước để xuất video; cũng có thể tải như LoRA thông thường trong Diffusers.
Rủi ro
- Đây là bản tổng hợp cá nhân, không phải phiên bản chính thức của Pika hay MiniMax; so sánh về tốc độ và chất lượng hình ảnh đều do tác giả tự thực hiện, chủ yếu dùng mô hình hợp nhất cộng đồng Singularity để trình diễn, không phải H3 gốc. Chuyên mục này chưa xem qua video so sánh.
- Tác giả lưu ý: khi ít hơn khoảng 6 bước, chất lượng âm thanh sẽ giảm, rõ nhất ở phiên bản 2 bước; phiên bản 2 bước đôi khi thất bại toàn bộ, chỉ phù hợp để nháp; chuyển động nhanh là điểm yếu của các mô hình ít bước. Không nên chồng thêm LoRA phong cách hoặc chuyển động có cường độ cao lên phiên bản 2 / 4 bước.
- Giấy phép kế thừa giấy phép cộng đồng MiniMax H3 (mô hình phái sinh của MiniMax-H3), cần xem xét các điều khoản gốc trước khi sử dụng thương mại; phiên bản tiêu chuẩn mỗi tệp nặng 3.9 GB.