Titre original : akhaliq/MiniMax-H3-Image-Character-Swap
akhaliq 11 14 : fusionne directement le LoRA v1.5 de remplacement de personnages MiniMax-H3 d'Akatz Labs (rang 16, couvrant 50 blocs DiT et 2 blocs de raffinement de tokens) dans le DiT de MiniMaxAI/MiniMax-H3-Image avec une intensité de 1.0, sans nécessiter de chargement de LoRA. L'utilisation consiste à fournir la photo de la scène comme <Picture 1> et l'image de référence du personnage comme <Picture 2>, en précisant qui remplacer ; le modèle remplace la personne tout en conservant l'arrière-plan, l'éclairage, les autres personnes et la pose d'origine. Le dépôt fournit également une version diffusers, un point de contrôle fusionné au format ComfyUI (40 Go), ainsi que le LoRA original (155 Mo) et le LoRA diffusers converti (173 Mo). La licence suit la licence communautaire MiniMax-H3-Image.
Pourquoi c'est important Les remplacements de style croisé, comme insérer un personnage d'anime dans un profil photographique réel, échouent souvent avec la version originale ; l'auteur affirme que la version fusionnée l'emporte dans la plupart de ses comparaisons, et ComfyUI ne nécessite qu'un changement de fichier
Score en hausse 38 · J'aime 179 · Téléchargements 316
Raisons
- L'auteur affirme que la version originale H3-Image conserve le visage d'origine pour les 3 graines lors du remplacement d'un personnage d'anime par un profil strictement de face ; dans 17 comparaisons à trois voies (version originale / LoRA seul / version fusionnée), la version fusionnée a été sélectionnée 14 fois, le LoRA seul 2 fois et la version originale 1 fois, mais avec une seule annotation
- 8 cas difficiles (profils, petits visages, occlusions, corps entier, plusieurs personnes) et toutes les images d'évaluation en aveugle sont publiés dans le jeu de données akhaliq/h3-image-swap-tests
- Avant la fusion, vérification de 624/624 clés et formes, et de 208/208 tenseurs cibles pour assurer la cohérence avec les résultats du chargement du LoRA ; le script de fusion merge/merge_and_validate.py est disponible dans le dépôt
Utilisation
- ComfyUI 0.45.0+, pack de modèles 0.11.104+ : placez minimax_h3_image_character_swap_bf16.safetensors dans models/diffusion_models, utilisez l'encodeur de texte et le VAE de Comfy-Org/MiniMax-H3-Image ; ouvrez le workflow de remplacement de personnages dans comfyui/workflows du dépôt (ou le modèle officiel Image Edit), il suffit de charger deux images
- Les paramètres suivent le modèle : euler / simple, 6 étapes, CFG 1, débruitage 1, environ 4 MP en point de départ ; dans le prompt, décrivez d'abord la scène puis le personnage, en précisant la personne à remplacer (par exemple « l'homme portant un pull jaune, deuxième à gauche »), et indiquez de conserver le visage, la coiffure, les vêtements et la scène
- diffusers 0.43.0 utilise ModularPipeline pour charger ce dépôt ; environ 140 Go de VRAM sont nécessaires pour une exécution entièrement locale (DiT 66 Go + encodeur de texte 67 Go), vous pouvez placer l'encodeur de texte à distance et ne garder que le DiT et le VAE sur le GPU ; pour ajuster l'intensité, utilisez le LoRA seul dans l'onglet lora/
Risques
- Aucun nouvel entraînement, il s'agit simplement de fusionner le LoRA de remplacement de personnages Akatz, déjà reçu dans les numéros précédents, dans le modèle d'image ; le LoRA a été entraîné à l'origine pour la vidéo et n'a été validé sur image que sur 8 cas difficiles
- Le remplacement de personnes réelles implique des droits à l'image et des deepfakes, n'utilisez que des images dont vous avez le droit d'usage
- La licence communautaire MiniMax-H3-Image ne couvre pas l'Union européenne, le Royaume-Uni, la Corée du Sud et les États-Unis ; si le revenu annuel dépasse 100 000 $ ou si le service est fourni en tant que service hébergé, une autorisation écrite de MiniMax est requise. Cet élément n'a pas été exécuté