Titre original : Viggle/Viggle-Image-Swap
Le LoRA Qwen-Image-2.1 (rang 256) publié par Viggle : remplace entièrement la personne dans la photo par le personnage défini sur la fiche, en changeant le visage, les cheveux, le corps et les vêtements, tout en conservant la pose, l'expression, la composition, l'arrière-plan et l'éclairage de l'image originale. Chaque personne à remplacer nécessite une fiche de 1536×1024 (le tiers gauche est un portrait, les deux tiers droits sont des vues de face, de profil et de dos) ; il est également possible d'insérer une photo réelle du visage dans la case portrait, mais une simple photo seule n'est pas prise en charge. Par défaut 6 étapes, sans CFG ; avec l'option --turbo, les 2 premières étapes définissent le personnage via le LoRA, et les 6 dernières étapes sont confiées à Qwen-Image-2.1-Turbo pour affiner les détails. La sortie fait environ 1 MP. Officiellement, sur une carte B200, chaque image prend environ 2.2 secondes avec un pic de mémoire vidéo de 46 Go, tandis que le mode turbo prend environ 4.1 secondes et utilise 55 Go.
Pourquoi c'est important Pour l'insertion de personnages, la publicité et l'adaptation de photos de scène, il n'est pas nécessaire de refaire les prises de vue ; une seule photo permet de remplacer deux personnes simultanément, avec une génération par défaut en six étapes.
Score de montée 47 · J'aime 49 · Téléchargements 2004
Raisons
- Peut remplacer plusieurs personnes à la fois et spécifier laquelle conserver ; swap.py génère automatiquement les prompts selon la position des personnages (gauche, droite, numéro d'ordre).
- Inclut une correction de tonalité : ajuste la luminosité globale pour la ramener à celle de l'image originale en se basant sur les pixels de l'arrière-plan inchangés.
Utilisation
- Installez les versions spécifiées de transformers, peft et le commit fixe de diffusers selon le README.
- python inference/swap.py --src scene.png --char sheet.png "man in a green shirt" --out out.png ; pour plusieurs personnes, utilisez plusieurs options --char avec --left pour spécifier la position, et --kept pour indiquer la personne à conserver.
- Pour des détails plus nets, ajoutez --turbo (ce qui charge également Qwen-Image-2.1-Turbo).
Risques
- Licence Qwen Research, utilisable uniquement pour la recherche et l'évaluation ; une demande séparée auprès de l'équipe Qwen est nécessaire pour un usage commercial ; le modèle chargé par --turbo est soumis aux mêmes restrictions.
- Limitations listées par les auteurs : le nouveau personnage conserve parfois les vêtements de la personne originale, et la pose ou la composition peuvent dériver ; --turbo ramène parfois les accessoires, les vêtements, voire la personne entière de l'original.
- Peut être utilisé pour remplacer des images de personnes réelles ; obtenez une autorisation avant d'utiliser le portrait de quelqu'un d'autre et mentionnez la génération par IA lors de la publication.
- Exigences élevées en mémoire vidéo ; cette entrée n'a pas été exécutée, les résultats sont à vérifier sur la fiche du modèle.