原题:HiUni: Harmonizing Understanding and Generation in Shared Visual Space
ernie-research 团队在预训练视觉语言模型上直接扩出生成能力:理解和生成共用同一个与语言对齐的 ViT 和稠密 Transformer 骨干,任务差别只放在输出端。为解决像素空间难优化、ViT 丢掉空间细节的问题,加了直接在像素空间去噪的 Pixel Diffusion Head,以及在输出前补局部细节的轻量 HiGate 通路。论文称理解平均分和原视觉语言模型相近,图像生成和编辑有竞争力。
为什么重要 多数统一模型给理解和生成各配一套视觉表示或计算路径;它证明共用一套也行,理解能力基本不掉,4B 骨干单卡能出大图
点赞 23 · 代码星数 12
理由
- README 称骨干 4B、生成专用参数只有 0.9B,不用 VAE 直接出像素,最高 2048×2048;文生图 2048² 约需 13 GB 显存
- 代码包括 Megatron 训练(全量和 LoRA)、Megatron 与 transformers 推理和检查点转换,训练也开放
- 权重有 transformers 格式和 Megatron 格式两种,另有不含合成数据训练的 HiUni Base
用法
- 代码:https://github.com/ernie-research/HiUni;权重:https://huggingface.co/ernie-research/HiUni;分词器和处理器用 Qwen/Qwen3-VL-4B-Instruct
- Python 3.10+、任意 CUDA 显卡:pip install -r hf_inference/requirements.txt,检查点放到 checkpoints/pixel_dit_hf
- 文生图:PROMPT="…" bash hf_inference/scripts/run_hf_t2i.sh(默认 2048²、25 步、CFG 4);编辑:IMAGE=input.jpg PROMPT="…" bash hf_inference/scripts/run_hf_edit.sh;也能做图像问答
风险
- README 和抱脸页都没写权重许可,商用前要向作者确认
- 生成质量只说「有竞争力」,本条没核对具体分数;HiUni Base 建议用 1024×1024。本条未运行