Nguồn gốc: Viggle/Viggle-Image-Swap
Viggle phát hành LoRA Qwen-Image-2.1 (rank 256): Thay thế hoàn toàn người trong ảnh bằng nhân vật từ ảnh thiết kế, đổi cả mặt, tóc, cơ thể và quần áo, trong khi vẫn giữ nguyên tư thế, biểu cảm, bố cục, nền và ánh sáng của ảnh gốc. Mỗi người cần thay thế được cung cấp một ảnh thiết kế kích thước 1536×1024 (một phần ba bên trái là ảnh chân dung, hai phần ba bên phải là ba góc nhìn chính diện, bên hông và phía sau); cũng có thể dán ảnh khuôn mặt thật vào ô chân dung, nhưng không hỗ trợ chỉ một bức ảnh đơn lẻ. Mặc định chạy 6 bước, không dùng CFG; khi thêm --turbo, 2 bước đầu tiên do LoRA xác định nhân vật, 6 bước sau do Qwen-Image-2.1-Turbo bổ sung chi tiết. Đầu ra khoảng 1 MP. Chính thức đo trên một card B200 cho thấy mỗi ảnh mất khoảng 2.2 giây, bộ nhớ VRAM đỉnh điểm 46 GB, chế độ turbo khoảng 4.1 giây, 55 GB.
Tại sao quan trọng Không cần chụp lại khi thực hiện ghép nhân vật, quảng cáo và chuyển thể cảnh quay, một bức ảnh có thể thay thế đồng thời hai người, mặc định xuất ảnh sau sáu bước
Điểm tăng 47 · Lượt thích 49 · Lượt tải 2004
Lý do
- Có thể thay thế nhiều người trong một lần và chỉ định giữ lại người nào; swap.py tự động viết prompt dựa trên vị trí nhân vật (trái, phải, thứ mấy)
- Kèm theo hiệu chỉnh màu sắc: kéo độ sáng tổng thể về ảnh gốc dựa trên các pixel nền không thay đổi
Cách dùng
- Cài đặt các phiên bản transformers, peft và commit cố định của diffusers theo README
- python inference/swap.py --src scene.png --char sheet.png "man in a green shirt" --out out.png; với nhiều người, dùng nhiều --char kèm --left để chỉ định vị trí, --kept để chỉ định người được giữ lại
- Thêm --turbo để có chi tiết sắc nét hơn (sẽ tải thêm Qwen-Image-2.1-Turbo)
Rủi ro
- Giấy phép Qwen Research, chỉ được sử dụng cho nghiên cứu và đánh giá, thương mại hóa cần xin phép riêng từ đội ngũ Qwen; mô hình được tải bởi --turbo cũng chịu ràng buộc tương tự
- Hạn chế do tác giả liệt kê: nhân vật mới đôi khi giữ lại quần áo của người gốc, tư thế và bố cục có thể bị lệch; --turbo thỉnh thoảng đưa lại phụ kiện, quần áo hoặc thậm chí toàn bộ người gốc
- Có thể dùng để thay thế hình ảnh người thật, cần xin phép trước khi sử dụng chân dung người khác, ghi rõ là do AI tạo khi công bố
- Yêu cầu bộ nhớ VRAM lớn; mục này chưa được chạy thử, hiệu quả thực tế dựa trên thẻ mô hình