ReDiverse-MiniMax-H3

ReDiverse là nghiên cứu của Đại học Illinois Urbana-Champaign, fal và Đại học Johns Hopkins: các tác giả phát hiện ra rằng các mô hình chưng cất ít bước khi đổi seed lại tạo ra hình ảnh gần như giống hệt nhau, là do kích hoạt của một mô-đun nào đó ở bước đầu tiên bị nén vào ít hướng hơn. LoRA rank-32 này giúp MiniMax-H3 Turbo với 4 bước căn chỉnh kích hoạt tại đó với MiniMax-H3 gốc, chỉ có hiệu lực khi lấy mẫu ở bước đầu tiên; các tác giả cho biết điểm đa dạng trên VBench tăng từ 36.5 lên 44.1, và khi kết hợp thêm ReDiverse-TF không cần huấn luyện thì đạt 50.9 (bản gốc nhiều bước là 52.5). Đồng thời, họ cũng phát hành phiên bản dành cho Pika H3 Flex với 6 bước, mỗi tệp trong hai tệp có dung lượng 612 MB.

ReDiverse là nghiên cứu của Đại học Illinois Urbana-Champaign, fal và Đại học Johns Hopkins: các tác giả phát hiện ra rằng các mô hình chưng cất ít bước khi đổi seed lại tạo ra hình ảnh gần như giống hệt nhau, là do kích hoạt của một mô-đun nào đó ở bước đầu tiên bị nén vào ít hướng hơn. LoRA rank-32 này giúp MiniMax-H3 Turbo với 4 bước căn chỉnh kích hoạt tại đó với MiniMax-H3 gốc, chỉ có hiệu lực khi lấy mẫu ở bước đầu tiên; các tác giả cho biết điểm đa dạng trên VBench tăng từ 36.5 lên 44.1, và khi kết hợp thêm ReDiverse-TF không cần huấn luyện thì đạt 50.9 (bản gốc nhiều bước là 52.5). Đồng thời, họ cũng phát hành phiên bản dành cho Pika H3 Flex với 6 bước, mỗi tệp trong hai tệp có dung lượng 612 MB.

Tại sao quan trọng Các mô hình chưng cất ít bước thường tạo ra các cảnh quay gần như giống hệt nhau khi đổi seed; phương pháp này chỉ tác động ở bước đầu tiên, các bước còn lại giữ nguyên, đồng thời cũng có phiên bản dành cho Pika H3 Flex.

Thích bằng biểu tượng ôm mặt 9 · Điểm tăng trưởng ôm mặt 9 · Lượt tải ôm mặt 48

Giấy phép: Thương mại có điều kiện · ComfyUI: Chưa có · VRAM: Không ghi rõ VRAM

Giấy phép theo khu vực: Giấy phép trọng số mở của MiniMax H3 không bao gồm EU, Vương quốc Anh, Hàn Quốc, Hoa Kỳ (Excluded Territories trong LICENSE), tại bốn khu vực này cần tìm giấy phép riêng từ MiniMax.

Lý do

  • Kèm theo bài báo, mã thăm dò kích hoạt và ví dụ so sánh cùng seed; cùng dòng sản phẩm còn có phiên bản SDXL, SD3, Wan 2.1

Cách sử dụng

  • Clone github.com/H-furkan/rediverse và thiết lập môi trường video theo envs/README.md, đồng ý các điều khoản và đăng nhập trên Hugging Face rồi chạy hf download ReDiverse/ReDiverse-MiniMax-H3 --local-dir ReDiverse-MiniMax-H3, chạy python -m h3.generate --arm rediverse_ft --adapter ReDiverse-MiniMax-H3 --prompt "…" --num-samples 4; phiên bản Pika H3 Flex sử dụng generate_pika.py trong kho lưu trữ của họ, thêm --compare sẽ đồng thời tạo ra video cùng seed mà không có adapter

Rủi ro

  • Được phát hành cho mục đích nghiên cứu, chịu ràng buộc bởi giấy phép cộng đồng MiniMax H3, không áp dụng cho EU, Vương quốc Anh, Hàn Quốc và Hoa Kỳ; tải xuống yêu cầu đăng nhập và đồng ý các điều khoản
  • Khi --arm rediverse kết hợp với các hướng không cần huấn luyện, mỗi prompt mới cần chạy mô hình gốc 25 lần (các tác giả cho biết mất khoảng 1 giờ GPU trên H100 80 GB); chỉ được huấn luyện và kiểm thử trên tác vụ tạo video từ văn bản, các tác giả chỉ cung cấp script dòng lệnh, chưa có node ComfyUI

Mở

抱脸 text-to-video 新模型

Xem tin AI mới nhất