Outil open source de remplacement de personnages/objets dans les vidéos : glissez-déposez une vidéo et une photo de personnage pour remplacer le sujet principal de la vidéo par votre personnage, en conservant les plans, le montage, les mouvements et l'audio original ; vous pouvez également changer uniquement la coiffure ou les vêtements, supprimer un objet ou modifier l'arrière-plan, le tout exécuté sur votre propre GPU avec des poids ouverts.
Nombre d'étoiles 627 (+265 / 24h)
Raison
- Une interface frontend Next.js superposée aux workflows ComfyUI : SAM 3.1 suit les personnages plan par plan, transforme le personnage original en mannequin gris pour que MiniMax H3 reproduise les mouvements, et ne redessine que les zones masquées ; Qwen3-VL 8B se charge de décrire les images et de générer les prompts (peut être remplacé par 4B ou Gemma 4 E2B)
- Modes : remplacement de personne seule, remplacement avancé de 1 à 4 personnes avec attribution par rôle (incluant la page Montage pour les changements sans coupure dure), remplacement/suppression d'objets, ajout d'objets, changement d'arrière-plan, et « à partir d'une image » utilisant FLUX pour poser la scène avant de générer la vidéo avec possibilité de rééclairage ; le post-traitement inclut la correction des petits visages et l'adoucissement des tons de H3
- Avant la soumission, le système vérifie les nœuds et modèles manquants par rapport à la liste de ComfyUI et fournit des liens d'installation ; l'option « Check mask » n'exécute que SAM et le masquage, permettant une prévisualisation image par image des zones qui seront redessinées
Utilisation
- Nécessite une carte graphique NVIDIA (testé par l'auteur sur une RTX 4060 Ti 16 GB + 64 GB de RAM), ComfyUI version 0.41.2 ou supérieure, Node.js version 22.6 ou supérieure ; suivez le README pour installer 12 paquets de nœuds personnalisés ainsi que les fichiers du modèle H3 élagué INT8, le LoRA d'accélération DMAD, SAM 3.1, etc.
- Sous Windows, double-cliquez sur start_openjutsu.bat ; sur les autres systèmes, lancez d'abord ComfyUI (sous Windows, définissez AIOHTTP_NOSENDFILE=1), installez comfy-api-proxy==0.1.6 et appliquez le correctif avec patch_proxy.py du dépôt, puis exécutez npm ci, npm run build, npm start, et ouvrez 127.0.0.1:3000
- Par défaut 736p, 6 étapes ; l'auteur indique qu'une séquence de 6 secondes en 480p prend environ 6–13 minutes sur une 4060 Ti, et que le 1080p est environ 2.5 fois plus lent que le 736p
Risques
- Permet de remplacer des personnes réelles par n'importe quelle personne sur une photo ; obtenez le consentement avant d'utiliser le portrait d'autrui ; les personnes dans les miroirs et les reflets ne peuvent actuellement pas être remplacées, et H3 a tendance à recopier l'apparence de la personne originale à partir des reflets
- La correction des visages dépend d'InsightFace buffalo_l, autorisé uniquement pour la recherche non commerciale, et les poids YOLO de Bingsu/adetailer sont sous licence AGPL-3.0 ; le processus de déploiement sur les plateformes cloud Comfy n'a pas encore été testé par l'auteur ; le code est sous licence MIT, le dépôt a été créé le 26 10 et le nombre d'étoiles augmente rapidement, il est normal de consulter le README pour un outil standard