原题:G-STAR: Group-Scaled Token Capacity for Deeply Compressed Autoregressive Generation
离散自回归生图的两难:token 序列长画质好但慢,空间压缩狠了每个 token 又装不下信息。作者基于乘积量化指出,在名义信息量不变时,每轴空间压缩倍数放大 α 倍,分组大小就该放大 α² 倍。G-STAR 按这个规律做到 32 倍、等效 64 倍压缩(把 2×2 个 32 倍 token 无损打包成一步),并用“半自回归”头:组内各位置的特征一次并行算完,再用单层因果 transformer 依次采样。主干是 Qwen3,同一模型支持文生图、按指令改图和图像理解。作者称 1024×1024 下比以往离散自回归模型快 20 倍,单张 H200 约 2.5 秒一张图。
为什么重要 自回归生图通常因序列太长而慢;这里给出压缩倍数和分组大小怎么一起放大的规律,速度和画质可以兼顾
点赞 40 · 代码星数 24
理由
- 两个版本:G-STAR-Pro-8B(32 倍压缩,偏画质)GenEval 0.84、GEdit-Bench 7.45;G-STAR-Flash-1.7B(等效 64 倍,偏速度)延迟从因果头基线的 22.23 秒逐步优化到加 SGLang 服务后的 2.50 秒
- 推理代码(文生图、改图)和训练代码(预训练、SFT)都已放出,MIT 许可;抱脸已有一个文生图检查点及配套分词器和 2 倍超分精修器
- 作者也列出了短板:Pro-8B 的 DPG-Bench 83.38,低于 Qwen-Image、Z-Image 等扩散模型
用法
- 代码:https://github.com/DAGroup-PKU/G-STAR;权重:抱脸 DAGroup-PKU/G-star
- 按 docs/installation-and-usage.md 装环境、下载检查点和配套精修器后运行 gstar.infer;作者建议加 --prompt-enhance 先用 Qwen-Image-2.1-PE 扩写提示词
风险
- 其余检查点和精修器还没放出;每个检查点必须配同时发布的精修器,g8 和 g16 导出互不兼容
- 推理在 80GB H100 上验证过;2.5 秒是 H200 加 CUDA Graph、算子融合和 SGLang 服务后的数字,成绩为作者报告,本条未运行