Tiêu đề gốc: MiniMaxAI/MiniMax-H3-Image
MiniMax đã phát hành mô hình tạo và chỉnh sửa ảnh mã nguồn mở, thuộc dòng MiniMax H3: DiT kế thừa kiến trúc H3 nhưng loại bỏ lớp âm thanh, với 331 tỷ tham số, bộ mã hóa văn bản sử dụng trực tiếp từ MiniMax-H3. Cùng một checkpoint vừa có thể tạo ảnh từ văn bản, vừa có thể chỉnh sửa dựa trên một hoặc nhiều ảnh tham chiếu, theo thông tin chính thức hỗ trợ tối đa 16 ảnh tham chiếu. Theo thông tin chính thức, các tỷ lệ khung hình khác nhau đều có thể trực tiếp tạo ra ảnh khoảng 16 MP (1:1 là 4096×4096, 21:9 là 6272×2688), không cần bộ khuếch đại; mô hình được chưng cất xuống 6 bước, không sử dụng CFG. Các ví dụ trong thẻ mô hình bao gồm nhiếp ảnh tả thực, thiết kế ý tưởng, kết xuất văn bản trên bảng giải các bài toán logic tiếng Trung và tiếng Anh, chuyển đổi bản kết xuất mô hình trắng thành cảnh quay điện ảnh, và tổng hợp một phòng khách từ một căn phòng trống cộng với chín món đồ nội thất (tổng cộng mười ảnh tham chiếu).
Tại sao quan trọng Xuất trực tiếp ảnh khoảng 16 megapixel mà không cần bộ khuếch đại, lấy mẫu trong sáu bước, hỗ trợ tối đa mười sáu ảnh tham chiếu, các khung suy luận phổ biến và ComfyUI đều đã hỗ trợ
Điểm tăng 471 · Lượt thích 476 · Lượt tải 667
Lý do
- Theo thông tin chính thức, khả năng tuân thủ chỉ dẫn là mạnh nhất trong các mô hình mã nguồn mở; các prompt ngắn có thể được mở rộng thành mô tả tiếng Anh hoàn chỉnh trước khi tạo ảnh thông qua H3-Image-Context-IR (API) hoặc MiniMax-H3-Image-PE (có thể triển khai cục bộ)
- Các phương án triển khai đầy đủ: SGLang, vLLM-Omni, diffusers, ComfyUI đều có tài liệu hoặc mẫu chính thức, các phần cứng được liệt kê chính thức bao gồm H200, RTX PRO 6000 Blackwell và AMD MI350X
- Thẻ mô hình cung cấp so sánh kết quả tạo ảnh từ cùng một prompt khi sử dụng SGLang cục bộ và API chính thức, kèm theo các script mẫu có thể chạy trực tiếp
Cách sử dụng
- hf download MiniMaxAI/MiniMax-H3-Image, sau đó tải thư mục text_encoder/ từ kho MiniMax-H3; khởi động dịch vụ bằng sglang serve hoặc vllm serve --omni, gửi yêu cầu tạo ảnh từ văn bản tới /v1/images/generations, gửi yêu cầu chỉnh sửa tới /v1/images/edits (các ảnh tham chiếu tương ứng với \u003cPicture 1\u003e, \u003cPicture 2\u003e trong prompt theo thứ tự tải lên)
- size được viết dưới dạng rộng x cao, khuyến nghị chính thức là khoảng 16 MP (ví dụ: 4096x4096, 5472x3072); số bước chỉ có thể là 6, guidance_scale chỉ có thể là 1, không hỗ trợ prompt tiêu cực
- Prompt cần là mô tả cảnh bằng tiếng Anh hoàn chỉnh, các prompt ngắn nên được mở rộng bằng MiniMax-H3-Image-PE trước
- ComfyUI: Sử dụng gói Comfy-Org/MiniMax-H3-Image, áp dụng mẫu tạo ảnh từ văn bản hoặc chỉnh sửa theo hướng dẫn chính thức
Rủi ro
- Dung lượng lớn: Trọng số DiT khoảng 66 GB, cộng thêm khoảng 67 GB cho bộ mã hóa văn bản MiniMax-H3, yêu cầu card đồ họa có VRAM lớn cấp độ trung tâm dữ liệu
- Phát hành theo giấy phép cộng đồng MiniMax-H3-Image, các trường hợp được liệt kê trong mục 4 của giấy phép cần xin cấp phép bằng văn bản riêng, cần đọc kỹ điều khoản trước khi sử dụng thương mại
- “Khả năng tuân thủ chỉ dẫn mạnh nhất trong các mô hình mã nguồn mở” là tuyên bố chính thức, thẻ mô hình không kèm theo đánh giá từ bên thứ ba
- Bài viết này chưa được chạy thử, hiệu quả thực tế dựa trên thẻ mô hình