Jeveration : un modèle unifié générant l'image entière en une seule passe avant

Les auteurs appliquent un modèle de décision parallèle de type « pensée rapide » à la génération d'images : sur un modèle de vision et de langage gelé (le README indique que le backbone est Qwen3.5-4B), toutes les positions prédisent simultanément des codes d'images discrets, produisant une image complète de 512×512 en une seule passe avant. Le défi consiste à assembler les prédictions parallèles en une image cohérente ; l'approche du papier consiste à faire partager un même état aléatoire à toutes les positions, chaque échantillonnage produisant une image différente mais complète. Comme le modèle ignore cet état lors de la supervision directe par l'image, ils apprennent d'abord une distribution de codes d'images discrets pour guider la génération en une seule étape. La même architecture unifie également la génération d'images à partir d'images et la prédiction dense, un seul point de contrôle servant trois types de tâches. Le papier affirme qu'une image de 512×512 est générée en 78 millisecondes sur une H200, soit jusqu'à 122 fois plus rapide que les modèles unifiés existants, avec une qualité d'image et une prédiction dense « compétitives ».

Titre original : Jeveration: System One Models Now Generate

Les auteurs appliquent un modèle de décision parallèle de type « pensée rapide » à la génération d'images : sur un modèle de vision et de langage gelé (le README indique que le backbone est Qwen3.5-4B), toutes les positions prédisent simultanément des codes d'images discrets, produisant une image complète de 512×512 en une seule passe avant. Le défi consiste à assembler les prédictions parallèles en une image cohérente ; l'approche du papier consiste à faire partager un même état aléatoire à toutes les positions, chaque échantillonnage produisant une image différente mais complète. Comme le modèle ignore cet état lors de la supervision directe par l'image, ils apprennent d'abord une distribution de codes d'images discrets pour guider la génération en une seule étape. La même architecture unifie également la génération d'images à partir d'images et la prédiction dense, un seul point de contrôle servant trois types de tâches. Le papier affirme qu'une image de 512×512 est générée en 78 millisecondes sur une H200, soit jusqu'à 122 fois plus rapide que les modèles unifiés existants, avec une qualité d'image et une prédiction dense « compétitives ».

Pourquoi c'est important La plupart des modèles génératifs nécessitent des dizaines d'étapes itératives ; celui-ci génère une image en une seule passe avant, et les mêmes poids servent à la fois à la génération d'images à partir d'images et à la prédiction de la profondeur, de la segmentation et des normales

J'aime 112 · Étoiles du code 41

Raisons

  • Le code et les poids sont sous licence Apache-2.0, les poids pèsent environ 6.5 Go, et Hugging Face propose également une démo en ligne Space
  • La génération d'images à partir d'images prend en charge la conversion de cartes de contours ou de profondeur en images, la colorisation de photos en noir et blanc, ainsi que trois transferts de style : anime, Ghibli et aquarelle ; la prédiction dense fournit en une seule passe la catégorie, la profondeur (en mètres) et la normale de surface pour chaque pixel
  • Le README indique que la même image peut être reproduite avec une graine fixe sur le même matériel et logiciel

Utilisation

  • Code : https://github.com/Carol-lyh/Jeveration;权重:https://huggingface.co/linlinlinlinsdada/Jeveration,演示:https://huggingface.co/spaces/linlinlinlinsdada/Jeveration
  • L'environnement nécessite Python 3.12 et une carte graphique CUDA : après pip install -r requirements.txt, utilisez hf download pour télécharger les poids dans weights/ ; le backbone Qwen3.5-4B, le tokenizer TA-TiTok et le tour de texte CLIP sont téléchargés automatiquement lors de la première exécution
  • Génération texte-vers-image : python generate.py --weights weights/jeveration.pt --decoder weights/decoder512.pt --prompt "…" --seed 0 --out samples/ ; pour la génération image-vers-image, utilisez image\_to\_image.py avec --task (hed, depth, colorize, anime, ghibli, watercolor) ; pour la prédiction dense, utilisez dense\_predict.py ; app.py permet de lancer une interface web Gradio

Risques

  • Le résumé indique seulement que la qualité est « compétitive », sans fournir de scores de qualité spécifiques ; les 78 millisecondes sont une mesure effectuée par les auteurs sur une H200, cette entrée n'a pas été exécutée
  • Une seule résolution est disponible : 512×512 ; la prédiction dense n'est entraînée que sur des scènes intérieures NYUv2

Ouvrir · Code · Page du papier sur Hugging Face

Hugging Face Daily Papers

Parcourir les dernières actualités IA