LoRA de distillation en quatre étapes pour MOSS-Image

L'auteur communautaire lvladikov a publié un LoRA de distillation en 4 étapes (rang 64) pour le modèle MOSS-Image SFT d'OpenMOSS, mis en ligne le 19 11 et dont le point de contrôle actuel a été produit le 20 11. La méthode utilise la correspondance de distribution eDMD, alignée sur un modèle enseignant de 50 étapes avec un CFG de 3, ainsi qu'un petit discriminateur adversarial de type LADD qui compare les images de l'étudiant avec celles de l'enseignant et environ 8,000 recadrages de photos réelles. La génération ne nécessite que 4 étapes avec un CFG de 1, une seule invocation du modèle par étape (contre 100 pour l'enseignant) ; l'entraînement a duré environ 57 heures sur une seule NVIDIA B300, couvrant 12 résolutions allant de 768×512 à 1824×1024.

Titre original : lvladikov/MOSS-SFT-Distill-4step-LoRA

L'auteur communautaire lvladikov a publié un LoRA de distillation en 4 étapes (rang 64) pour le modèle MOSS-Image SFT d'OpenMOSS, mis en ligne le 19 11 et dont le point de contrôle actuel a été produit le 20 11. La méthode utilise la correspondance de distribution eDMD, alignée sur un modèle enseignant de 50 étapes avec un CFG de 3, ainsi qu'un petit discriminateur adversarial de type LADD qui compare les images de l'étudiant avec celles de l'enseignant et environ 8,000 recadrages de photos réelles. La génération ne nécessite que 4 étapes avec un CFG de 1, une seule invocation du modèle par étape (contre 100 pour l'enseignant) ; l'entraînement a duré environ 57 heures sur une seule NVIDIA B300, couvrant 12 résolutions allant de 768×512 à 1824×1024.

Pourquoi c'est important L'auteur affirme que le temps GPU de génération est réduit d'environ quatorze fois, que les tons sont proches du modèle original et que le texte est généralement correct ; il fonctionne uniquement avec les nœuds principaux de ComfyUI

Score de montée 30 · J'aime 33 · Téléchargements 2685

Raisons

  • L'auteur affirme que sur Comfy Cloud, pour les mêmes 22 images de 1024×1024, le temps GPU facturé est de 26.6 secondes contre 387.3 secondes, soit une économie d'environ 14 fois ; sur 21 prompts de test, la luminosité moyenne est inférieure de 1.0 L* à celle de l'enseignant, et la texture fine est 1.16 fois celle de l'enseignant
  • Sur 15 prompts textuels, 14 ont écrit correctement tous les caractères requis (l'enseignant : 15, le LoRA en 4 étapes d'akhaliq : 12)
  • Fournit dix workflows ComfyUI (texte-vers-image, mise en page, modification d'image, agrandissement PiD 4 fois, etc., un pour local et un pour Comfy Cloud), utilisant uniquement les nœuds principaux ; inclut également des fichiers corrigés pour le chargeur LoRA standard de ComfyUI

Utilisation

  • ComfyUI : placez moss_sft_4step_rank_64_lora_comfyui.safetensors dans models/loras avec une force de 1.0, utilisez le modèle de base moss_image_sft_bf16 de Comfy-Org/MOSS-Image ; échantillonneur euler + Manual Sigmas « 1.0, 0.91, 0.717, 0.024, 0.0 », CFG 1 (Basic Guider)
  • diffusers : utilisez la fonction apply_4step_lora du dépôt pour attacher moss_sft_4step_rank_64_lora.safetensors au transformer, avec num_inference_steps=4 et guidance_scale=1.0
  • N'utilisez pas le planificateur simple de ComfyUI ; maintenez la force à 1.0, l'auteur affirme que l'augmenter ne produit que des doubles contours sans ajouter de détails

Risques

  • Adapté uniquement à MOSS-Image SFT et à son calendrier d'échantillonnage ; les tailles hors plage d'entraînement, comme 2848×1600 par défaut dans le modèle officiel, nécessitent des prompts très longs, le décodage VAE de grande taille sur Mac provoque des erreurs et nécessite un décodage par blocs
  • Problèmes listés par l'auteur : invention de texte là où aucun n'est spécifié, foules identiques dans les formats verticaux, nombre de personnes inexact aux tables de repas, fautes d'orthographe occasionnelles ; toutes les images de comparaison sont générées par l'auteur, la licence du modèle de base est à vérifier séparément, cette entrée n'a pas été exécutée

Ouvrir

Hugging Face Trending

Parcourir les dernières actualités IA