TailSteer est la dernière étape d'entraînement de Qwen-Image-2.1. Les auteurs affirment qu'elle préserve essentiellement les capacités de génération et d'édition du modèle de base, tout en réduisant la dérive texturale accumulée lorsque le résultat d'un tour sert d'entrée au tour suivant ; lors du 10e tour de l'évaluation Add & Preserve, le PSNR hors zone éditée est supérieur de 1.22 dB et le LPIPS inférieur de 11.5%. Le dépôt contient les poids complets, avec une architecture et un mode de chargement identiques à ceux de la version officielle ; il suffit de changer l'ID du modèle. Une utilisation via ComfyUI est également fournie, ainsi que la publication conjointe des jeux d'évaluation et d'entraînement.
Pourquoi c'est important Lors d'éditions multi-tours, chaque sortie devient l'entrée suivante, ce qui rend les détails de plus en plus flous à force de modifications. Cette version vise spécifiquement à réduire cette dérive cumulative.
J'aime Hugging Face 40 · Hausse du score Hugging Face 39 · Téléchargements Hugging Face 141
Licence : recherche uniquement · ComfyUI : mentionné dans la fiche modèle · VRAM : ≈18 Go (estimation)
Raisons
- Classé 3e au classement de montée any-to-any de Hugging Face (reflète uniquement l'attention portée)
- La fiche modèle inclut des animations comparatives entre le modèle de base et TailSteer sur 20 tours d'édition consécutifs, ainsi que tous les prompts
Utilisation
- Dans diffusers, utilisez QwenImage21Pipeline.from_pretrained("Lyricccco/Qwen-Image-2.1-TailSteer") et passez la sortie de chaque tour comme entrée du suivant ; pour ComfyUI, remplacez le fichier du modèle de base selon les instructions de la fiche modèle
Risques
- Hérite de la licence de recherche Qwen, donc non utilisable commercialement
- Les chiffres d'amélioration ont été mesurés par les auteurs sur leur propre jeu d'évaluation ; avec environ 7 milliards de paramètres, les besoins en VRAM sont comparables à ceux du modèle de base