DSpine:腾讯给 Qwen3.8-27B 做的并行草稿加速模型

腾讯为 Qwen3.8-27B 训练的五层 DSpine 草稿模型,用于投机解码:并行生成草稿 token,每层把预测的前序特征传给相邻位置,靠网络深度传递因果依赖。块大小 16,滑动窗口 8,192 token。官方在 SGLang 上测试,与 DFlash2 相比各项任务的平均接受长度更高;在 WorkBuddy 代码 / 网页 / 办公、SWE-bench Pro 和 τ²-bench 的智能体回放中,端到端吞吐约为普通自回归解码的 2.7–3.8 倍。

原题:tencent/Qwen3.8-27B-DSpine-b16

腾讯为 Qwen3.8-27B 训练的五层 DSpine 草稿模型,用于投机解码:并行生成草稿 token,每层把预测的前序特征传给相邻位置,靠网络深度传递因果依赖。块大小 16,滑动窗口 8,192 token。官方在 SGLang 上测试,与 DFlash2 相比各项任务的平均接受长度更高;在 WorkBuddy 代码 / 网页 / 办公、SWE-bench Pro 和 τ²-bench 的智能体回放中,端到端吞吐约为普通自回归解码的 2.7–3.8 倍。

为什么重要 不换主模型就能提高推理吞吐,适合用 SGLang 部署 Qwen3.8-27B 跑智能体和代码任务

上升分 146 · 点赞 148 · 下载量 1464

理由

  • 专门测了智能体多轮对话场景的接受长度和吞吐,不只是数学和代码题
  • 附论文和 GitHub 代码,Apache-2.0

用法

  • 安装 Tencent/DSpine 后,sglang serve 加 --speculative-algorithm DSPINE,--speculative-draft-model-path 指向本模型,其余参数照模型卡

风险

  • 只配 Qwen3.8-27B 主模型,依赖 SGLang 和特定后端配置,个人显卡部署门槛高
  • 加速数据是官方在特定并发和配置下测得
  • 本条未运行,效果以模型卡为准

打开

Hugging Face Trending

浏览最新 AI 动态