H3-Image Phiên bản hợp nhất hoán đổi nhân vật: Thay người cho ảnh cảnh và ảnh nhân vật

akhaliq 11 tháng 14 ngày đăng tải: Hợp nhất trực tiếp LoRA v1.5 hoán đổi nhân vật MiniMax-H3 của Akatz Labs (hạng 16, bao phủ 50 khối DiT và 2 khối token refiner) với cường độ 1.0 vào DiT của MiniMaxAI/MiniMax-H3-Image, không cần gắn LoRA riêng. Cách dùng là đặt ảnh chụp cảnh làm <Picture 1>, ảnh tham chiếu nhân vật làm <Picture 2>, ghi rõ ai cần bị thay thế; mô hình sẽ thay người nhưng vẫn giữ nguyên nền, ánh sáng, những người khác và tư thế ban đầu. Kho lưu trữ cung cấp đồng thời phiên bản diffusers, điểm kiểm tra hợp nhất theo bố cục ComfyUI (40 GB), cùng LoRA gốc (155 MB) và LoRA đã chuyển đổi cho diffusers (173 MB). Giấy phép tuân theo giấy phép cộng đồng MiniMax-H3-Image.

Tiêu đề gốc: akhaliq/MiniMax-H3-Image-Character-Swap

akhaliq 11 tháng 14 ngày đăng tải: Hợp nhất trực tiếp LoRA v1.5 đổi nhân vật MiniMax-H3 của Akatz Labs (hạng 16, bao phủ 50 khối DiT và 2 khối token refiner) vào DiT của MiniMaxAI/MiniMax-H3-Image với cường độ 1.0, không cần gắn LoRA nữa. Cách dùng là đưa ảnh cảnh làm <Picture 1>, ảnh tham chiếu nhân vật làm <Picture 2>, ghi rõ cần thay thế ai, mô hình sẽ thay thế nhân vật, đồng thời giữ nguyên nền, ánh sáng, những người khác và tư thế ban đầu. Kho lưu trữ cũng cung cấp phiên bản diffusers, điểm kiểm tra đã hợp nhất theo bố cục ComfyUI (40 GB), cùng với LoRA gốc (155 MB) và LoRA diffusers đã chuyển đổi (173 MB). Giấy phép tuân theo giấy phép cộng đồng của MiniMax-H3-Image.

Tại sao quan trọng Việc thay thế nhân vật anime vào ảnh chụp thực tế kiểu nhìn nghiêng thường thất bại ở phiên bản gốc; tác giả cho biết phiên bản hợp nhất thắng trong hầu hết các so sánh của họ, và chỉ cần đổi tệp tin là xong trên ComfyUI

Điểm tăng 38 · Lượt thích 179 · Lượt tải xuống 316

Lý do

  • Tác giả cho biết phiên bản H3-Image gốc giữ nguyên khuôn mặt cũ trong cả 3 seed khi thử thay nhân vật anime vào ảnh chụp nhìn nghiêng nghiêm ngặt; trong 17 bộ so sánh ba bên (gốc / LoRA riêng / hợp nhất), phiên bản hợp nhất được chọn 14 lần, LoRA riêng 2 lần, và bản gốc 1 lần, nhưng chỉ có một người đánh dấu
  • 8 trường hợp khó (nhìn nghiêng, mặt nhỏ, bị che khuất, toàn thân, nhiều người) và tất cả ảnh đánh giá mù đều được công khai trong bộ dữ liệu akhaliq/h3-image-swap-tests
  • Trước khi hợp nhất, đã kiểm tra 624/624 khóa và hình dạng, 208/208 tensor mục tiêu khớp với kết quả khi gắn LoRA; script hợp nhất merge/merge_and_validate.py có trong kho lưu trữ

Cách dùng

  • ComfyUI 0.45.0+, gói mẫu 0.11.104+: Đặt tệp minimax_h3_image_character_swap_bf16.safetensors vào models/diffusion_models, sử dụng bộ mã hóa văn bản và VAE từ Comfy-Org/MiniMax-H3-Image; mở quy trình làm việc hoán đổi nhân vật trong comfyui/workflows của kho lưu trữ (hoặc mẫu Image Edit chính thức), chỉ cần tải hai ảnh
  • Tham số giữ nguyên theo mẫu: euler / simple, 6 bước, CFG 1, denoise 1, bắt đầu từ khoảng 4 MP; prompt nên mô tả cảnh trước rồi đến nhân vật, chỉ rõ người cần thay thế (ví dụ: "người đàn ông mặc áo len vàng thứ hai từ trái sang"), và ghi rõ giữ nguyên khuôn mặt, kiểu tóc, trang phục và bối cảnh
  • diffusers 0.43.0 sử dụng ModularPipeline để tải kho lưu trữ này; chạy hoàn toàn cục bộ cần khoảng 140 GB VRAM (DiT 66 GB + bộ mã hóa văn bản 67 GB), có thể đặt bộ mã hóa văn bản ở xa, chỉ để DiT và VAE trên GPU; nếu muốn điều chỉnh cường độ, hãy dùng LoRA riêng trong thư mục lora/

Rủi ro

  • Không có quá trình huấn luyện mới, chỉ là hợp nhất LoRA hoán đổi nhân vật Akatz đã thu thập từ các kỳ trước vào mô hình hình ảnh; LoRA vốn được huấn luyện cho video, chỉ được kiểm chứng trên 8 trường hợp khó đối với hình ảnh
  • Việc thay thế người thật liên quan đến quyền chân dung và deepfake, chỉ sử dụng những hình ảnh mà bạn có quyền sử dụng
  • Giấy phép cộng đồng MiniMax-H3-Image không áp dụng cho khu vực Liên minh Châu Âu, Vương quốc Anh, Hàn Quốc và Hoa Kỳ; nếu doanh thu hàng năm vượt quá 100 nghìn đô la hoặc được cung cấp dưới dạng dịch vụ lưu trữ, cần có sự cho phép bằng văn bản từ MiniMax trước. Mục này chưa được chạy

Mở

Hugging Face Trending

Xem tin AI mới nhất