LoRA de remplacement de personnage entraîné par Akatz Labs pour le mode multi-références MiniMax-H3 (Ref2VA) : entrez une vidéo originale et une image de personnage, remplacez la personne spécifiée dans la vidéo par le personnage de l'image, tout en suivant la pose, le regard, les expressions et les mouvements de la vidéo originale, en conservant la scène et les autres personnes. Sortie initiale V1 le 9 25, sortie V1.5 (version recommandée) le 10 16, ajout d'un workflow ComfyUI natif compatible avec H3 Relay 2.0 de l'auteur le 10 17. Non inclus dans les 7 dernières périodes.
Score en hausse 57 · J'aime 704 · Téléchargements 137211
Raisons
- Répond au besoin de « conserver la performance, changer l'acteur » : dans le prompt, utilisez <Video 1> pour désigner la vidéo originale et <Picture 1> pour l'image du personnage, en précisant qui doit être remplacé (par exemple « l'homme à la chemise violette ») ; l'auteur indique qu'aucun mot-clé déclencheur supplémentaire n'a été entraîné.
- V1.5 est entraîné pendant 1,000 étapes supplémentaires à partir de V1, en intégrant des objectifs vidéo de mouvement et des recadrages faciaux ; l'auteur a publié des vidéos comparatives V1 / V1.5, affirmant que V1.5 préserve mieux les visages stylisés, les coiffures et l'identité du personnage, tout en précisant qu'il s'agit d'exemples sélectionnés et non d'une évaluation globale.
- Le processus d'entraînement est public : le jeu de données V1 akatz-ai/H3-Character-Swap-v1 et le run-summary.json de V1.5 (rang 16, taux d'apprentissage 1e-5, hachage du fichier de départ) sont disponibles dans le dépôt ; le fichier V1.5 fait environ 155 Mo.
Utilisation
- ComfyUI : préparez séparément le modèle de base H3 Ref2VA, l'encodeur de texte et le VAE, placez h3_character_swap_v1.5.safetensors dans le répertoire LoRA, utilisez un chargeur LoRA modèle uniquement avec une intensité de 1.0 ; V1.5 remplace V1, ne les superposez pas tous les deux.
- Recette testée par l'auteur : modèle de base Ref2VA INT8 + ce LoRA avec une intensité de 1.0 + un LoRA d'accélération séparé minimax_h3_fl2v_turbo_8step_v1.0_768p avec une intensité de 1.0, 8 étapes, CFG 1, échantillonneur er_sde, planificateur normal ; 24 fps, commencez par un court plan continu (dans les tests V1 de l'auteur, les séquences de 4 à 5 secondes sont plus stables que celles de 14 secondes).
- Pour le masquage, la continuation de longs segments et la conservation de l'audio original, installez H3 Relay 2.0 de l'auteur et utilisez le workflow H3-Character-Swap-Relay-V2 dans les exemples du dépôt.
Risques
- L'auteur qualifie ce modèle d'expérimental : l'identité du personnage, la temporalité des mouvements, les expressions, les occlusions et les coupes franches peuvent dériver ; l'entraînement V1 ne comportait que 94 échantillons d'édition d'image composés, sans entraînement spécifique pour le remplacement de plusieurs personnes. Cette rubrique n'a pas examiné les vidéos comparatives.
- L'audio original dans la vidéo finale est copié directement par l'outil en post-production ; cela ne signifie pas que le LoRA peut restaurer l'audio ni corriger les décalages de synchronisation labiale.
- Le remplacement de personnes réelles implique des risques liés aux droits à l'image et au deepfake ; utilisez uniquement des vidéos et des images de personnages dont vous détenez les droits. La licence est la licence communautaire MiniMax H3 (et non Apache) ; l'auteur rappelle que sa licence standard ne couvre pas les États-Unis, l'Union européenne, le Royaume-Uni et la Corée du Sud, et qu'il faut consulter les conditions originales avant toute utilisation commerciale ou dans ces régions.