G-STAR : raccourcir les tokens d'image pour la génération autoregressive

Le dilemme de la génération d'images autoregressive discrète : des séquences de tokens longues offrent une meilleure qualité mais sont lentes, tandis qu'une compression spatiale agressive empêche chaque token de contenir suffisamment d'informations. Les auteurs, s'appuyant sur la quantification par produit, montrent que si la quantité nominale d'information reste constante, multiplier par α le facteur de compression spatiale par axe nécessite de multiplier la taille du groupe par α². G-STAR applique cette règle pour atteindre une compression de 32 fois, soit une compression effective de 64 fois (en regroupant sans perte 2×2 tokens compressés 32 fois en une seule étape), et utilise une tête « semi-autorégressive » : les caractéristiques de chaque position au sein d'un groupe sont calculées en parallèle en une seule fois, puis échantillonnées séquentiellement via un transformateur causal à une seule couche. Le modèle de base est Qwen3, et le même modèle prend en charge la génération d'images à partir de texte, la modification d'images sur instruction et la compréhension d'images. Les auteurs affirment qu'à 1024×1024, le modèle est 20 fois plus rapide que les modèles autoregressifs discrets précédents, générant une image en environ 2.5 secondes sur une seule carte H200.

Titre original : G-STAR: Group-Scaled Token Capacity for Deeply Compressed Autoregressive Generation

Le dilemme de la génération d'images autoregressive discrète : des séquences de tokens longues offrent une meilleure qualité mais sont lentes, tandis qu'une compression spatiale agressive empêche chaque token de contenir suffisamment d'informations. Les auteurs, s'appuyant sur la quantification par produit, montrent que si la quantité nominale d'information reste constante, multiplier par α le facteur de compression spatiale par axe nécessite de multiplier la taille du groupe par α². G-STAR applique cette règle pour atteindre une compression de 32 fois, soit une compression effective de 64 fois (en regroupant sans perte 2×2 tokens compressés 32 fois en une seule étape), et utilise une tête « semi-autorégressive » : les caractéristiques de chaque position au sein d'un groupe sont calculées en parallèle en une seule fois, puis échantillonnées séquentiellement via un transformateur causal à une seule couche. Le modèle de base est Qwen3, et le même modèle prend en charge la génération d'images à partir de texte, la modification d'images sur instruction et la compréhension d'images. Les auteurs affirment qu'à 1024×1024, le modèle est 20 fois plus rapide que les modèles autoregressifs discrets précédents, générant une image en environ 2.5 secondes sur une seule carte H200.

Pourquoi c'est important La génération d'images autoregressive est généralement lente en raison de la longueur des séquences ; cette étude établit une règle pour augmenter simultanément le facteur de compression et la taille des groupes, permettant de concilier vitesse et qualité d'image

J'aime 40 · Étoiles du code 24

Raisons

  • Deux versions : G-STAR-Pro-8B (compression 32 fois, privilégiant la qualité) avec un score GenEval de 0.84 et un score GEdit-Bench de 7.45 ; G-STAR-Flash-1.7B (compression effective 64 fois, privilégiant la vitesse) avec une latence optimisée progressivement de 22.23 secondes (ligne de base avec tête causale) à 2.50 secondes après intégration du service SGLang
  • Le code d'inférence (génération d'images à partir de texte, modification d'images) et le code d'entraînement (pré-entraînement, SFT) sont publiés sous licence MIT ; Hugging Face propose déjà un point de contrôle pour la génération d'images à partir de texte, ainsi que le tokenizer associé et un raffineur de super-résolution 2 fois
  • Les auteurs mentionnent également les limites : le score DPG-Bench de Pro-8B est de 83.38, inférieur à celui des modèles de diffusion comme Qwen-Image et Z-Image

Utilisation

  • Code : https://github.com/DAGroup-PKU/G-STAR;权重:抱脸 DAGroup-PKU/G-star
  • Suivez docs/installation-and-usage.md pour configurer l'environnement, télécharger les points de contrôle et les raffineurs associés, puis exécutez gstar.infer ; les auteurs recommandent d'ajouter l'option --prompt-enhance pour étendre les prompts à l'aide de Qwen-Image-2.1-PE

Risques

  • Les autres points de contrôle et raffineurs ne sont pas encore publiés ; chaque point de contrôle doit être associé au raffineur publié simultanément, et les exports g8 et g16 ne sont pas compatibles entre eux
  • L'inférence a été validée sur une carte H100 de 80 Go ; les 2.5 secondes correspondent aux résultats obtenus sur une carte H200 avec CUDA Graph, fusion d'opérateurs et service SGLang. Ces performances sont rapportées par les auteurs et n'ont pas été vérifiées indépendamment dans cette entrée

Ouvrir · Code · Page du papier sur Hugging Face

Hugging Face Daily Papers

Parcourir les dernières actualités IA