Titre original : OpenMOSS-Team/MOSS-Image-SFT
Version fine-tunée supervisée de la série MOSS-Image d'OpenMOSS (MOSI.AI), dérivée de MOSS-Image-Base, avec la même architecture et le même pipeline d'inférence. Les prompts peuvent être en langage naturel, sous forme de séquences de tags ou de mises en page JSON : utilisez summary.caption et items pour décrire la scène, le texte à rendre, les objets et leurs boîtes de position (format yxyx, coordonnées absolues centralisées), afin de contrôler l'emplacement du texte et la disposition des objets ; modifier le texte, les descriptions et les boîtes dans la mise en page permet d'effectuer des modifications structurées. Les images de comparaison des auteurs indiquent que la version SFT offre un regroupement du texte plus clair et une mise en page de tableau blanc plus soignée. Le VAE intégré utilise le décodeur FLUX.2 small. Dépôt créé le 10 11, non inclus dans les numéros précédents.
Score de progression 74 · J'aime 917 · Téléchargements 19515
Raisons
- Répond au besoin d'insérer du texte chinois spécifique dans une image et de le disposer selon une mise en page précise : les exemples fournis dans la fiche technique incluent directement du contenu de post-it en chinois multiligne dans le prompt ; la mise en page JSON permet de placer le texte et les objets à des positions définies, idéale pour les affiches, les tableaux blancs et les infographies.
- Écosystème complet : compétence d'extension de prompt moss-image-prompt-enhancer (transforme une idée en description détaillée ou en JSON de mise en page, avec un script intégré effectuant uniquement la conversion de coordonnées, sans appel au service de génération d'images), interface Gradio, plugin ComfyUI, rapport technique (arXiv 2610.23374) et démo en ligne.
- Les poids et le code d'inférence sont sous licence Apache-2.0 ; nombre de J'aime sur Hugging Face 917 (indique uniquement le niveau d'attention).
Utilisation
- diffusers : pip install "diffusers\u003e=0.38" "transformers\u003e=5.3" "accelerate\u003e=1.10" safetensors Pillow (Python 3.10+, PyTorch 2.9+, carte graphique NVIDIA), DiffusionPipeline.from_pretrained('OpenMOSS-Team/MOSS-Image-SFT', custom_pipeline='pipeline_moss_image', trust_remote_code=True, torch_dtype={'default': torch.bfloat16, 'vae': torch.float32}), pipe(prompt, height=1024, width=1024, num_inference_steps=50, guidance_scale=3.0, uncond_skip_layers=[22]).
- Paramètres par défaut : Euler Flow-matching 50 étapes, CFG 3, shift 5, saut de la couche 22 dans la branche négative, prompt négatif vide ; la largeur et la hauteur doivent être des multiples de 16. Pour les prompts de mise en page, utilisez json.dumps(layout, ensure_ascii=False) ; la taille de l'image générée correspond à celle du canevas défini dans la mise en page.
- ComfyUI : recherchez MOSS-Image dans ComfyUI Manager pour installer le plugin (l'intégration dans le dépôt officiel est en cours), les workflows d'exemple se trouvent dans le répertoire comfyui/ du dépôt GitHub OpenMOSS/MOSS-Image ; si vous ne souhaitez pas écrire de mise en page, vous pouvez demander à un agent d'utiliser la compétence d'extension de prompt pour générer le prompt.
Risques
- Par défaut 50 étapes, avec deux passes avant par étape, ce qui est plus lent que les modèles actuels à faible nombre d'étapes ; la fiche technique ne fournit pas de données sur les besoins en mémoire VRAM ni sur la vitesse.
- La génération de mise en page est marquée comme fonctionnalité expérimentale ; la compétence d'extension de prompt est conçue pour les agents de la série GPT-6, l'efficacité avec d'autres agents est inconnue.
- Inclut du code de pipeline personnalisé, nécessitant trust_remote_code ; la fiche technique ne contient qu'un seul ensemble d'images comparant Base et SFT, sans tableau d'évaluation quantifiée.