一个 8B 的统一离散扩散语言模型，同一个模型做图像理解、视觉问答、目标定位、文生图和图像编辑。两点新做法：一是跨范式的在线策略蒸馏，把自回归视觉语言模型的理解能力和连续流模型的生成能力一起蒸到扩散语言模型里；二是“渐进自我修正”扩散——训练时每个词元分多步逐渐被破坏，而不是一步直接换成遮盖符，推理时可以先暂定再逐步修正。
点赞 7 · 代码星数 4
理由
- 作者称在问答、多模态推理、定位、文生图和编辑等任务上达到统一扩散语言模型中的最好水平。
- 权重已放在抱脸 nvidia/NLD-Uni，可直接用 transformers 加载，text_to_image / image_edit / generate 三个方法分别做生成、编辑和理解。
- 配套仓库带 Gradio 演示、SGLang 推理（仅理解路径）和 SFT / 在线蒸馏的最小训练脚本。
用法
- transformers：AutoModelForCausalLM.from_pretrained('nvidia/NLD-Uni', trust_remote_code=True, torch_dtype=torch.bfloat16)，再调用 model.text_to_image(...)、model.image_edit(image, ...)。
- 命令行：github.com/NVlabs/Nemotron-Labs-Diffusion-Uni 里 python infer.py --task text-to-image / image-edit / understand / grounding；python gradio_demo.py --model nvidia/NLD-Uni 起本地演示。
- 环境：CUDA 12.6、flash-attn 2.8.0.post2；模型卡称在 H100 80 GB 上验证。
风险
- 许可是 NVIDIA Open Source License Agreement，不是 Apache / MIT，商用前要读条款。
- 模型卡没有给出任何基准分数，只列了评测清单和三个功能冒烟测试；摘要的“最好水平”没有可核对的数字。
- 需要 trust_remote_code；模型卡称已实现 1024×1024 生成配置，但未列出经过验证的分辨率；SGLang 只支持理解，生成走原生 PyTorch。