原题:tencent/Qwen3.8-27B-DSpine-b16
腾讯为 Qwen3.8-27B 训练的五层 DSpine 草稿模型,用于投机解码:并行生成草稿 token,每层把预测的前序特征传给相邻位置,靠网络深度传递因果依赖。块大小 16,滑动窗口 8,192 token。官方在 SGLang 上测试,与 DFlash2 相比各项任务的平均接受长度更高;在 WorkBuddy 代码 / 网页 / 办公、SWE-bench Pro 和 τ²-bench 的智能体回放中,端到端吞吐约为普通自回归解码的 2.7–3.8 倍。
为什么重要 不换主模型就能提高推理吞吐,适合用 SGLang 部署 Qwen3.8-27B 跑智能体和代码任务
上升分 146 · 点赞 148 · 下载量 1464
理由
- 专门测了智能体多轮对话场景的接受长度和吞吐,不只是数学和代码题
- 附论文和 GitHub 代码,Apache-2.0
用法
- 安装 Tencent/DSpine 后,sglang serve 加 --speculative-algorithm DSPINE,--speculative-draft-model-path 指向本模型,其余参数照模型卡
风险
- 只配 Qwen3.8-27B 主模型,依赖 SGLang 和特定后端配置,个人显卡部署门槛高
- 加速数据是官方在特定并发和配置下测得
- 本条未运行,效果以模型卡为准