MOSS AnyPaint est un LoRA fonctionnel créé par la communauté pour MOSS-Image-Base (rang 32) : les zones blanches du masque sont régénérées, les zones noires sont conservées. Avec le même jeu d'entrées, il permet à la fois de retoucher des parties locales et d'étendre l'image sur un canevas plus grand ; le masque peut être fin, courbe, dépasser les limites de l'image originale ou se composer de plusieurs blocs. Il est recommandé d'ajouter le LoRA de distillation DMD2 en 8 étapes de Base, pour générer une image en 8 étapes avec un CFG de 1, tandis que le DiT gelé utilise une quantification qfloat8. L'auteur souligne que les chargeurs LoRA standard et le code Diffusers généré automatiquement par Hugging Face ne fonctionnent pas ; il faut utiliser les scripts fournis dans le dépôt ou les nœuds ComfyUI de l'auteur.
Pourquoi c'est important Un seul LoRA gère à la fois la retouche interne et l'extension externe de l'image, avec des masques pouvant prendre n'importe quelle forme et se composer de blocs non connectés ; l'auteur fournit également des nœuds ComfyUI.
J'aime sur Hugging Face 9 · Points de tendance sur Hugging Face 9 · Téléchargements sur Hugging Face 296
Licence : usage commercial autorisé · ComfyUI : mentionné dans la fiche du modèle · Mémoire VRAM : non spécifiée
Raisons
- Le LoRA et le code d'inférence sont sous licence Apache-2.0 ; chaque exemple est accompagné de l'image originale, du masque, du résultat et des prompts.
- L'auteur a également publié des nœuds ComfyUI et des instructions détaillées pour les workflows étape par étape.
Utilisation
- Exécutez hf download yijunwang2/moss-anypaint, puis après avoir installé les dépendances via pip install -r requirements.txt, utilisez example.py en spécifiant --source, --mask, --prompt et la taille du canevas ; pour l'extension d'image, ajoutez --bbox pour indiquer la position de l'image originale sur le nouveau canevas.
- ComfyUI : installez les nœuds en suivant les instructions disponibles sur github.com/alexw5702-afk/moss-anypaint.
Risques
- Les nœuds ComfyUI proviennent d'un dépôt GitHub tiers et n'ont pas été audités par cette rubrique ; veuillez vérifier le code vous-même avant l'installation.
- Une carte graphique CUDA prenant en charge BF16 est requise ; lorsque la zone générée est très grande, des objets non pertinents peuvent apparaître, et les zones non masquées subissent également de légères modifications après passage par le VAE.