HiUni : un même backbone pour la compréhension et la génération d'images

L'équipe ernie-research étend directement les capacités de génération aux modèles de vision-langage pré-entraînés : la compréhension et la génération partagent le même ViT aligné sur le langage et le même backbone Transformer dense, les différences entre les tâches ne se situant qu'au niveau de la sortie. Pour résoudre les difficultés d'optimisation dans l'espace des pixels et la perte de détails spatiaux par le ViT, ils ont ajouté une tête de diffusion de pixels (Pixel Diffusion Head) qui débruite directement dans l'espace des pixels, ainsi qu'une voie légère HiGate qui complète les détails locaux avant la sortie. L'article indique que le score moyen de compréhension est comparable à celui du modèle de vision-langage d'origine, et que la génération et l'édition d'images sont compétitives.

Titre original : HiUni: Harmonizing Understanding and Generation in Shared Visual Space

L'équipe ernie-research étend directement les capacités de génération aux modèles de vision-langage pré-entraînés : la compréhension et la génération partagent le même ViT aligné sur le langage et le même backbone Transformer dense, les différences entre les tâches ne se situant qu'au niveau de la sortie. Pour résoudre les difficultés d'optimisation dans l'espace des pixels et la perte de détails spatiaux par le ViT, ils ont ajouté une tête de diffusion de pixels (Pixel Diffusion Head) qui débruite directement dans l'espace des pixels, ainsi qu'une voie légère HiGate qui complète les détails locaux avant la sortie. L'article indique que le score moyen de compréhension est comparable à celui du modèle de vision-langage d'origine, et que la génération et l'édition d'images sont compétitives.

Pourquoi c'est important La plupart des modèles unifiés utilisent des représentations visuelles ou des chemins de calcul distincts pour la compréhension et la génération ; ce travail prouve qu'un partage unique est possible, avec une capacité de compréhension qui reste largement intacte, et un backbone de 4B capable de générer de grandes images sur une seule carte graphique

J'aime 23 · Étoiles du code 12

Raisons

  • Le README indique un backbone de 4B, des paramètres dédiés à la génération de seulement 0.9B, une sortie directe de pixels sans VAE, et une résolution maximale de 2048×2048 ; la génération d'images à partir de texte en 2048² nécessite environ 13 Go de mémoire vidéo
  • Le code comprend l'entraînement Megatron (complet et LoRA), l'inférence Megatron et transformers, ainsi que la conversion de points de contrôle, l'entraînement étant également ouvert
  • Les poids sont disponibles en deux formats, transformers et Megatron, avec en plus une version HiUni Base entraînée sans données synthétiques

Utilisation

  • Code : https://github.com/ernie-research/HiUni;权重:https://huggingface.co/ernie-research/HiUni;分词器和处理器用 Qwen/Qwen3-VL-4B-Instruct
  • Python 3.10+, n'importe quelle carte graphique CUDA : pip install -r hf_inference/requirements.txt, placez les points de contrôle dans checkpoints/pixel_dit_hf
  • Génération d'images à partir de texte : PROMPT="…" bash hf_inference/scripts/run_hf_t2i.sh (par défaut 2048², 25 étapes, CFG 4) ; édition : IMAGE=input.jpg PROMPT="…" bash hf_inference/scripts/run_hf_edit.sh ; la question-réponse sur image est également prise en charge

Risques

  • Ni le README ni la page Hugging Face ne précisent la licence des poids ; il faut confirmer avec les auteurs avant toute utilisation commerciale
  • La qualité de génération est simplement décrite comme « compétitive », sans vérification des scores spécifiques dans cette entrée ; HiUni Base est recommandé pour 1024×1024. Cette entrée n'a pas été exécutée

Ouvrir · Code · Page du papier sur Hugging Face

Hugging Face Daily Papers

Parcourir les dernières actualités IA