原题：Diffuspace/Clover-35B-A3B-Preview
DiffuSpace 的第一个模型：从 Qwen3.6-35B-A3B 改出来的纯文本扩散语言模型，保留其混合 Gated DeltaNet / 全注意力 MoE 骨干（40 层、256 个路由专家选 8 个、每层 1 个共享专家），总参数 35B、每 token 激活约 3B，上下文 128K。生成按块进行：每块先全是掩码，置信度超过阈值（默认 0.95）的位置并行填上，一个都不够时就填最有把握的那个，块完成后成为下一块的前缀（默认块长 32）；为此新增了可学习的 GDN 参数，让块内 token 双向互看、前缀仍保持因果。作者称发布时在其博客报告的基准上是开源扩散语言模型里最好的。10 月 24 日建仓，前几期没有收录。
上升分 87 · 点赞 247 · 下载量 3572
理由
- 扩散语言模型的一个能直接跑的大号版本：一次能确定多个 token；块内还可以只用一组共享专家（按路由分数累计到 90% 截止），减少同一块里调用的不同专家数。
- 部署选择多：Transformers 独立推理；官方推荐的 SGLang 实现支持块扩散去噪和自投机解码，llama.cpp 支持自投机解码（两者都以上游 PR 的形式提交）。
- Apache-2.0，保留上游 Qwen 版权声明并附逐文件修改说明；抱脸点赞 247（只代表关注度）。
用法
- pip install "transformers==5.19.0" accelerate safetensors（PyTorch 2.10+），AutoModelForCausalLM.from_pretrained('Diffuspace/Clover-35B-A3B-Preview', trust_remote_code=True, dtype=torch.bfloat16, device_map='cuda:0')，apply_chat_template 时 enable_thinking=True，generate(max_new_tokens=24576, block_size=32, threshold=0.95, do_sample=False)。BF16 权重约 69 GB，需要一张放得下的显卡。
- 防复读和收尾控制已写进默认配置（presence_penalty 0.9、repetition_penalty 1.05，回答超过 8192 token 后逐渐偏向结束，思考超过 4096 token 后逐渐偏向收尾），一般不用改；正式服务和评测用官方 SGLang 实现。
风险
- Preview 版：模型卡和 README 都没有列分数，基准结果只在官方博客的图里；作者也说很长的生成有时会重复。
- SGLang、llama.cpp 后端代码和 SFT 代码在仓库里都写着“即将加入”；Transformers 版和 SGLang 的输出可能因数值差异而不同。
- 超过 128K 的请求直接拒绝（包括补完最后一整块所需的空间）。