Titre original : KBlueLeaf/MOSS-Image-heal
Affinage complet réalisé par KBlueLeaf sur MOSS-Image-Base, ne formant que le transformer, tandis que l'encodeur de texte, le VAE, etc., restent ceux de la version officielle. L'objectif est de « guérir » le flux résiduel : l'auteur indique que la valeur maximale du flux passe de 58,411 à 3,083 (limite supérieure fp16 de 65,504), que le RMS du flux résiduel diminue d'un facteur 7.5, et que les valeurs aberrantes des poids sont également réduites, tout en maintenant une proximité avec la sortie du modèle de base (cosinus directionnel de la vitesse : 0.9983). L'entraînement a porté sur environ 320 000 échantillons, soit environ 200 B300 heures GPU, utilisant des images provenant d'environ 100 000 images danbooru, avec des descriptions incluant des étiquettes, du langage naturel et des structures de graphes GBC dans divers formats. Les poids diffusers ainsi que les fichiers uniques ComfyUI bf16 / fp16 / int8 sont fournis.
Pourquoi c'est important Offre une marge numérique pour les utilisateurs nécessitant une inférence en demi-précision ou quantifiée sur 8 bits, tout en maintenant une proximité avec la sortie du modèle de base
Score d'ascension 65 · J'aime 67 · Téléchargements 0
Raisons
- L'auteur indique que sous fp16, le flux résiduel du modèle de base est à environ 6% de la saturation, tandis que la version heal offre une marge d'environ 20 fois supérieure, rendant l'inférence en basse précision et quantifiée plus stable
- Tous les chiffres et graphiques sont inclus dans le répertoire reports/, et la méthode est documentée publiquement
- Le fichier unique ComfyUI peut remplacer directement le modèle dans les workflows officiels de MOSS-Image
Utilisation
- ComfyUI : placez l'un des fichiers du dossier comfyui/ dans models/diffusion_models/, en utilisant l'encodeur de texte et le VAE officiels de MOSS-Image ; pour le fichier fp16, utilisez l'option --fp16-unet
- diffusers : après avoir chargé le pipeline officiel MOSS-Image-Base, remplacez le transformer par celui de ce dépôt
Risques
- Les images d'entraînement proviennent toutes de danbooru ; l'auteur n'a pas spécifiquement détaillé les performances sur des sujets réalistes
- Il n'y a que deux exemples comparatifs
- Cette entrée n'a pas été exécutée ; veuillez vous référer à la fiche du modèle pour connaître les résultats