Công cụ mã nguồn mở để thay thế nhân vật / đối tượng trong video: chỉ cần kéo thả một đoạn video và một bức ảnh nhân vật, bạn có thể thay thế nhân vật chính trong video bằng nhân vật của mình, trong khi vẫn giữ nguyên góc quay, dựng phim, chuyển động và âm thanh gốc; cũng có thể chỉ thay đổi kiểu tóc hoặc quần áo, xóa một vật thể nào đó, thay đổi nền, tất cả đều chạy trên GPU của bạn bằng các mô hình có trọng số mở.
Số sao 627 (+265 / 24h)
Lý do
- Một giao diện người dùng Next.js được xây dựng trên nền tảng quy trình làm việc ComfyUI: SAM 3.1 theo dõi nhân vật theo từng cảnh quay, biến nhân vật gốc thành mô hình cơ thể màu xám để MiniMax H3 bắt chước chuyển động, chỉ vẽ lại các vùng được che (mask); Qwen3-VL 8B chịu trách nhiệm mô tả hình ảnh và viết câu lệnh (prompt) (cũng có thể thay thế bằng 4B hoặc Gemma 4 E2B)
- Các chế độ: thay thế một người, thay thế nâng cao cho 1–4 người theo vai trò được phân công (bao gồm trang Montage để chuyển đổi nhân vật mà không có điểm cắt cứng), thay thế / xóa / thêm đối tượng / thay đổi nền, chế độ “từ hình ảnh” sử dụng FLUX để tạo dáng trước khi tạo video và có thể điều chỉnh ánh sáng; xử lý hậu kỳ bao gồm chỉnh sửa khuôn mặt nhỏ và làm mềm tông màu của H3
- Trước khi gửi yêu cầu, hệ thống sẽ kiểm tra các nút và danh sách mô hình của ComfyUI để phát hiện những thành phần còn thiếu và cung cấp liên kết cài đặt; tính năng Check mask chỉ chạy SAM và tạo mặt nạ, cho phép xem trước từng khung hình để biết những khu vực nào sẽ được vẽ lại
Cách sử dụng
- Yêu cầu card đồ họa NVIDIA (tác giả đã thử nghiệm trên RTX 4060 Ti 16 GB + 64 GB RAM), ComfyUI phiên bản 0.41.2 trở lên, Node.js phiên bản 22.6 trở lên; làm theo README để cài đặt 12 gói nút tùy chỉnh và các tệp mô hình H3 đã được cắt tỉa (pruned) ở định dạng INT8, LoRA tăng tốc DMAD, SAM 3.1, v.v.
- Trên Windows, nhấp đúp vào start_openjutsu.bat; trên các hệ thống khác, trước tiên hãy khởi động ComfyUI (trên Windows cần đặt biến môi trường AIOHTTP_NOSENDFILE=1), cài đặt comfy-api-proxy==0.1.6 và vá nó bằng tệp patch_proxy.py từ kho lưu trữ, sau đó chạy npm ci, npm run build, npm start, rồi mở 127.0.0.1:3000
- Mặc định là 736p, 6 bước; tác giả cho biết trên RTX 4060 Ti, một đoạn video dài 6 giây ở độ phân giải 480p mất khoảng 6–13 phút, còn độ phân giải 1080p chậm hơn khoảng 2.5 lần so với 736p
Rủi ro
- Có thể thay thế người thật bằng bất kỳ ai trong ảnh, cần có sự đồng ý trước khi sử dụng chân dung của người khác; hiện tại không thể thay thế những người xuất hiện trong gương hoặc bề mặt phản chiếu, và H3 vẫn có thể sao chép lại ngoại hình của người gốc từ các hình ảnh phản chiếu
- Việc chỉnh sửa khuôn mặt phụ thuộc vào InsightFace buffalo_l, chỉ được phép sử dụng cho mục đích nghiên cứu phi thương mại, còn trọng số YOLO của Bingsu/adetailer tuân theo giấy phép AGPL-3.0; quy trình triển khai trên nền tảng đám mây Comfy chưa được tác giả kiểm thử; mã nguồn theo giấy phép MIT, kho lưu trữ được tạo vào ngày 26 tháng 10, số lượng sao tăng nhanh, việc xem qua README là điều bình thường đối với một kho lưu trữ công cụ