LoRA thay thế nhân vật do Akatz Labs huấn luyện cho chế độ đa tham chiếu (Ref2VA) của MiniMax-H3: đầu vào gồm một video gốc và một ảnh nhân vật, thay thế người được chỉ định trong video bằng nhân vật trong ảnh, đồng thời tuân theo tư thế, ánh mắt, biểu cảm và chuyển động của video gốc, giữ nguyên bối cảnh và những người khác. Ra mắt V1 vào ngày 25 tháng 9, phát hành V1.5 (phiên bản được khuyến nghị) vào ngày 16 tháng 10, và bổ sung quy trình làm việc ComfyUI gốc kết hợp với H3 Relay 2.0 của tác giả vào ngày 17 tháng 10. Không được đưa vào trong 7 kỳ gần đây.
Tăng điểm 57 · Lượt thích 704 · Lượt tải 137211
Lý do
- Giải quyết nhu cầu "giữ nguyên màn trình diễn, thay đổi diễn viên": trong prompt, sử dụng <Video 1> để chỉ video gốc và <Picture 1> để chỉ ảnh nhân vật, chỉ cần ghi rõ người cần thay thế (ví dụ: "người đàn ông mặc áo sơ mi tím"); tác giả cho biết không huấn luyện thêm từ kích hoạt (trigger word) nào.
- V1.5 được huấn luyện thêm 1,000 bước từ V1, bổ sung mục tiêu video chuyển động và cắt khuôn mặt; tác giả đã cung cấp video so sánh giữa V1 / V1.5, cho rằng V1.5 giữ được phong cách khuôn mặt, kiểu tóc và danh tính nhân vật tốt hơn, đồng thời nói rõ đây là các mẫu được chọn lọc, không phải đánh giá tổng thể.
- Quá trình huấn luyện được công khai: bộ dữ liệu V1 akatz-ai/H3-Character-Swap-v1 và run-summary.json của V1.5 (hạng 16, tốc độ học 1e-5, hash tệp khởi tạo) đều có trong kho lưu trữ; tệp V1.5 nặng khoảng 155 MB.
Cách sử dụng
- ComfyUI: chuẩn bị riêng mô hình cơ sở H3 Ref2VA, bộ mã hóa văn bản và VAE, đặt h3_character_swap_v1.5.safetensors vào thư mục LoRA, sử dụng trình nạp LoRA chỉ dành cho mô hình, cường độ 1.0; V1.5 dùng để thay thế V1, không chồng cả hai cùng lúc.
- Công thức đã được tác giả kiểm thử: mô hình cơ sở Ref2VA INT8 + LoRA này với cường độ 1.0 + LoRA tăng tốc riêng minimax_h3_fl2v_turbo_8step_v1.0_768p với cường độ 1.0, 8 bước, CFG 1, bộ lấy mẫu er_sde, bộ điều phối normal; 24 fps, trước tiên thực hiện một cảnh quay liên tục ngắn (trong bài kiểm thử V1 của tác giả, 4–5 giây ổn định hơn 14 giây).
- Khi cần mặt nạ, nối dài đoạn và giữ nguyên âm thanh gốc, hãy cài đặt H3 Relay 2.0 của tác giả và sử dụng quy trình làm việc H3-Character-Swap-Relay-V2 trong thư mục examples của kho lưu trữ.
Rủi ro
- Tác giả tự nhận đây là mô hình thử nghiệm: danh tính nhân vật, thời gian chuyển động, biểu cảm, che khuất và các cảnh cắt cứng đều có thể bị lệch; quá trình huấn luyện V1 chỉ có 94 mẫu chỉnh sửa hình ảnh được tổng hợp, việc thay thế nhiều người không được huấn luyện riêng. Chuyên mục này chưa xem qua video so sánh.
- Âm thanh gốc trong thành phẩm được công cụ sao chép trực tiếp ở giai đoạn hậu kỳ, điều này không có nghĩa là LoRA có thể khôi phục âm thanh, cũng không thể sửa lỗi lệch khẩu hình.
- Việc thay thế người thật liên quan đến quyền hình ảnh và rủi ro deepfake, chỉ sử dụng video và ảnh nhân vật mà bạn có quyền sử dụng. Giấy phép là Giấy phép Cộng đồng MiniMax H3 (không phải Apache), tác giả nhắc nhở rằng giấy phép tiêu chuẩn không bao gồm Hoa Kỳ, Liên minh Châu Âu, Vương quốc Anh và Hàn Quốc, cần xem xét kỹ các điều khoản gốc trước khi sử dụng thương mại hoặc tại các khu vực này.