DiffuSpace 的第一个模型，从 Qwen3.6-35B-A3B 改造的扩散语言模型：35B 总参数、每 token 约 3B 激活；生成时每块 32 个 token 先全部掩码，再并行填出置信度高的位置，填完一块接到前缀后面再做下一块（块扩散），128K 上下文，只处理文本。
上升分 100 · 点赞 101 · 下载量 105
理由
- 给 Gated DeltaNet 层加了可学习参数，让块内能双向注意，同时保留已生成部分的因果前缀；官方称发布时在其博客报告的基准上是开源扩散语言模型里最好，但模型卡和 GitHub README 正文都没有数字，成绩只在图片和博客里。
- 块内专家筛选（默认覆盖 90% 的路由权重）减少每块用到的专家数；官方 SGLang 实现同时支持块扩散去噪和自推测解码，llama.cpp 实现支持自推测解码。
- Apache-2.0；10 月 24 日发布，此前各期没有收录。
用法
- Transformers 5.19.0 + PyTorch 2.10 以上，trust_remote_code=True 加载，model.generate(..., block_size=32, threshold=0.95)；presence_penalty 0.9、repetition_penalty 1.05 和收尾长度控制已写进默认配置，一般不用改。
- 服务和评测官方推荐自家 SGLang 实现（SGLang PR #46927），本地推理走 llama.cpp PR #31306；HF 实现和 SGLang 内核有数值差异，同样设置也可能生成不同文本。
风险
- BF16 权重约 69 GB，单卡要放得下权重和推理状态。
- Preview 版：SGLang、llama.cpp 支持还在 PR 阶段，后端代码和 SFT 代码都写着“即将发布”；官方提醒很长的生成可能重复。
- 没有可核对的评测数字。