原題:G-STAR: Group-Scaled Token Capacity for Deeply Compressed Autoregressive Generation
離散自己回帰画像生成のジレンマ:トークン列が長ければ画質は良いが遅く、空間圧縮を強くしすぎると各トークンに情報を詰め込めなくなる。著者は積量化に基づき、名目上の情報量が一定のままで、各軸の空間圧縮倍率を α 倍に拡大する場合、グループサイズは α² 倍に拡大すべきだと指摘している。G-STAR はこの規則に従い、32 倍、実効 64 倍の圧縮を実現し(2×2 個の 32 倍トークンを無損失で1ステップにパッキング)、さらに「半自己回帰」ヘッドを採用している。グループ内の各位置の特徴を一度に並列計算し、その後、単層因果トランスフォーマーで順次サンプリングを行う。バックボーンは Qwen3 であり、同一モデルでテキストから画像への生成、指示に基づく画像編集、画像理解に対応する。著者によれば、1024×1024 の解像度において、従来の離散自己回帰モデルより 20 倍高速で、単一の H200 で約 2.5 秒/画像とのことだ。
なぜ重要か 自己回帰画像生成は通常、列が長すぎて遅いが、ここでは圧縮倍率とグループサイズをどのように同時に拡大するかという規則を提示しており、速度と画質の両立が可能になる
いいね 40 · コードのスター数 24
理由
- 2つのバージョン:G-STAR-Pro-8B(32 倍圧縮、画質重視)GenEval 0.84、GEdit-Bench 7.45;G-STAR-Flash-1.7B(実効 64 倍、速度重視)遅延は因果ヘッドベースラインの 22.23 秒から、SGLang サービス導入後の 2.50 秒へと段階的に最適化
- 推論コード(テキストから画像への生成、編集)と訓練コード(事前学習、SFT)はすべて公開されており、MIT ライセンス。Hugging Face にはテキストから画像への生成チェックポイントと対応するトークナイザー、および 2 倍の超解像リファイナーが既に存在する
- 著者は弱点も列挙している:Pro-8B の DPG-Bench スコアは 83.38 で、Qwen-Image や Z-Image などの拡散モデルより低い
使い方
- コード:https://github.com/DAGroup-PKU/G-STAR;权重:抱脸 DAGroup-PKU/G-star
- docs/installation-and-usage.md に従って環境をセットアップし、チェックポイントと対応するリファイナーをダウンロードした後、gstar.infer を実行する。著者は、まず Qwen-Image-2.1-PE でプロンプトを拡張するために --prompt-enhance を追加することを推奨している
リスク
- 他のチェックポイントとリファイナーはまだ公開されていない。各チェックポイントは同時に公開されたリファイナーと組み合わせる必要があり、g8 と g16 のエクスポートは互換性がない
- 推論は 80GB の H100 で検証済み。2.5 秒という数字は、H200 に CUDA Graph、演子融合、SGLang サービスを組み合わせた後の結果であり、著者による報告値で、本記事では実行していない
開く · コード · Hugging Face 論文ページ