DNeo:复用被拒草稿的并行草稿模型

推测扩散解码用小的并行草稿模型一次前向生成一块候选 token,再由大模型并行验证。作者指出 DFlash、DSpark 这类并行草稿模型读取目标模型特征的方式有三处不足:编码投影会破坏目标特征空间(作者称为残差混合)、不记得之前被拒的提议、从各层均匀取特征会漏掉关键隐藏状态。DNeo 用带工作记忆的混合特征注意力 MoFA 把被拒提议编码成记忆,再加两抽头因果卷积、只对前缀做交叉注意力、非均匀挑选目标层;作者称生成速度是当前最好的 DFlash-2 的 1.3 倍,草稿模型体积和生成质量不变。

原题:DNeo: Your Parallel Draft Model Needs Better Target Feature Encoding

推测扩散解码用小的并行草稿模型一次前向生成一块候选 token,再由大模型并行验证。作者指出 DFlash、DSpark 这类并行草稿模型读取目标模型特征的方式有三处不足:编码投影会破坏目标特征空间(作者称为残差混合)、不记得之前被拒的提议、从各层均匀取特征会漏掉关键隐藏状态。DNeo 用带工作记忆的混合特征注意力 MoFA 把被拒提议编码成记忆,再加两抽头因果卷积、只对前缀做交叉注意力、非均匀挑选目标层;作者称生成速度是当前最好的 DFlash-2 的 1.3 倍,草稿模型体积和生成质量不变。

为什么重要 推测解码的提速取决于草稿被接受多少;作者称生成速度超过此前最好的 DFlash-2,草稿体积和输出质量不变

点赞 3 · 代码星数 4

理由

  • 已放出给 Qwen3-4B(思考模式)用的草稿权重 J-sandler/Qwen3-4B-DNeo:5 层并行骨干,一次前向起草 15 个 token,特征取自目标模型 7 个选定层
  • 作者在一张 H100 80GB、批大小 1 下测:SGLang 每次前向平均接受 4.51 个 token、解码 701 token/s,是逐词自回归的 2.96 倍;Transformers 下为 3.37 倍
  • 草稿权重 Apache-2.0,推理代码 MIT

用法

  • 代码:https://github.com/J-sandler/DNeo;权重:https://huggingface.co/J-sandler/Qwen3-4B-DNeo,必须和 Qwen/Qwen3-4B 配对使用,草稿模型本身不能单独生成
  • 这一版权重要 0.1.0rc6 以上的 shared-router 运行时:下载权重仓库里的 dneo-inference-source.tar.gz,按其中 INSTALL.md 装 Transformers 或原生 SGLang 版本;旧的 five-router 加载器读不了

风险

  • 目前只有 Qwen3-4B 一个目标模型的草稿权重
  • 测速条件是提示最长 256 token、输出固定 512 token、上下文上限 1024,作者说结果随负载变化;长上下文和大批量没有数据。本条未运行

打开 · 代码 · 抱脸论文页

Hugging Face Daily Papers

浏览最新 AI 动态