Il s'agit d'un LoRA de distillation de rang 64 entraîné par l'auteur communautaire lvladikov pour le MOSS-Image SFT d'OpenMOSS, formé via une correspondance de distribution eDMD et un discriminateur adversarial LADD (le discriminateur comparant simultanément les images originales en 50 étapes et environ 8000 photos réelles), générant des images en 4 étapes avec un CFG de 1, l'entraînement couvrant 12 résolutions allant de 768×512 à 1824×1024. L'auteur affirme que sur Comfy Cloud, le temps GPU pour générer 22 images de 1024×1024 est passé de 387.3 secondes à 26.6 secondes, et que sur 15 prompts demandant de l'écriture, 14 ont été entièrement corrects (contre 15 pour la version originale). Le dépôt fournit le code diffusers, un fichier LoRA corrigé pour le chargement dans ComfyUI, ainsi que quatre types de workflows (génération texte-image, cadres de mise en page, modification d'image, agrandissement PiD 4x), chacun disponible en version locale et Comfy Cloud.
Pourquoi c'est important Le modèle n'est appelé qu'une seule fois par étape, sans prompt négatif ; l'auteur affirme que le temps GPU pour un même lot d'images est réduit d'environ un quatorzième ; des fichiers spécifiques à ComfyUI et un workflow de 8 nœuds principaux sont fournis.
J'aime (Hugging Face) 13 · Score de tendance (Hugging Face) 13 · Téléchargements (Hugging Face) 4
Licence : usage commercial autorisé · ComfyUI : mentionné dans la fiche du modèle · VRAM : 196 Go
Raisons
- La fiche du modèle inclut des comparaisons côte à côte avec la même graine entre la version originale en 50 étapes, le LoRA de 4 étapes d'akhaliq et ce LoRA, ainsi que toutes les images générées pour les 12 résolutions
- Licence Apache-2.0, identique au modèle de base ; une démonstration en ligne sur Hugging Face est disponible
Utilisation
- ComfyUI : placez moss_sft_4step_rank_64_lora_comfyui.safetensors dans models/loras, utilisez moss_image_sft_bf16 de Comfy-Org/MOSS-Image comme modèle de base, et importez moss_sft_4step_lora_t2i_local.json ; configurez euler avec « Manual Sigmas » « 1.0, 0.91, 0.717, 0.024, 0.0 », un CFG de 1, une intensité LoRA de 1.0, sans prompt négatif
- diffusers : appliquez le LoRA standard au transformer via la fonction apply_4step_lora indiquée dans la fiche du modèle, avec num_inference_steps=4 et guidance_scale=1.0
Risques
- Applicable uniquement à MOSS-Image SFT ; les coefficients de correction du fichier ComfyUI ont été testés sur le modèle de base bf16, le fichier int8 du modèle officiel n'a pas été testé
- Problèmes signalés par l'auteur : des textes illisibles apparaissent sur les panneaux où aucun texte n'était demandé, des objets ou personnes supplémentaires apparaissent parfois, les scènes sombres sont plus claires que dans la version originale ; une intensité supérieure à 1.0 provoque des doubles contours au lieu de plus de détails
- Les chiffres sont des mesures auto-déclarées par l'auteur ; les 196 Go indiqués sur la fiche correspondent au pic de VRAM pendant l'entraînement, la VRAM d'inférence dépendant du modèle de base MOSS-Image