原题:nvidia/Qwen3.5-4B-Qwen3.8-27B-Draft
英伟达 11 月 17 日发布,用 Model Optimizer 训练的外置草稿模型(4.21B 参数,基于 Qwen3.5-4B,和目标模型共用分词器与词表)。服务时它按目标模型的采样设置一次提出一组候选 token,Qwen3.8-27B 用拒绝采样验证,最终输出和目标模型单独生成时分布相同,只降低解码延迟。训练用 Nemotron-Post-Training-Dataset-v2 的 199,998 条单轮提示,回答由 Qwen3.8-27B 生成,记录它每个位置前 20 个 token 的概率分布作为训练信号。
为什么重要 输出分布和原模型完全一致,只降解码延迟;官方称每次验证平均接受的词数明显多于模型自带的多词预测头
上升分 63 · 点赞 67 · 下载量 290
理由
- SPEED-Bench 定性子集、草稿块 16:平均接受长度 5.58,Qwen3.8-27B 自带 MTP 头为 3.81;32K 长上下文子集为 5.11 对 3.86
- 同系列还有 Qwen3.5-0.8B(3.92 / 3.60)和 Llama-3.2-1B(3.42 / 3.07)两个更小的草稿模型,同样数据、同一评测
- 按类别看,RAG、多语种、总结接受长度最高(6.58、6.55、6.19),角色扮演和写作最低(4.41、4.59)
用法
- 部署时作为 Qwen3.8-27B 的外部草稿模型挂上:卡里列 vLLM 为支持的引擎,也说能在 SGLang、TRT-LLM 里加载;输入要用 Qwen3.8-27B 的分词器
- 草稿按温度 1.0、top-k 20、top-p 0.95 采样,和目标模型的服务设置保持一致;训练序列长度 12,288 token
风险
- 卡里没有启动命令和实际提速倍数,只给接受长度;官方主要面向英伟达 Groq 3 LPU 部署,列出的 GPU 架构只有 Blackwell
- 草稿模型本身 4.21B 参数,要和 27B 目标模型一起占显存,额外显存需求卡里没写
- 许可是英伟达开放模型协议(可商用),不是 Apache。本条未运行