V4.1-Flash-1017 的 22 个社区和厂商量化版本合为一条,覆盖 GGUF、EXL3、MLX、GSQ、NVFP4 等格式;和 10-30 相比,NVIDIA 10-30 发布了 NVFP4 版,turboderp 的 EXL3 新增 2.68bpw 一档。
下载量(合计) 2359927 · 点赞(合计) 1106
理由
- nvidia/DeepSeek-V4.1-Flash-1017-NVFP4:用 Model Optimizer 把路由专家从源 MXFP4 转成 NVFP4(W4A4),Engram 查找表从 FP8 转成 MXFP4,注意力、共享专家、视觉和 MTP 保持原精度;卡片称约 400 GiB(源约 475 GiB)、48 个分片,MIT 许可、可商用。
- NVIDIA 在四张 GB300 上用 vLLM 测的六项对比和源权重基本持平(如 GPQA Diamond 92.93 对 92.77、Terminal-Bench 2.1 81.11 对 81.81),并写明专家权重转换无损、Engram 转换有损。
- turboderp/DeepSeek-V4.1-Flash-1017-exl3 现有 2.25bpw 和 2.68bpw 两个分支,仍要 ExLlamaV3 v1.6.6 或 dev 分支,更多档位和评测随后补。
用法
- Blackwell 数据中心卡:用带 MXFP4 Engram 支持(vllm-project/vllm#61530)的 vLLM 构建,vllm serve nvidia/DeepSeek-V4.1-Flash-1017-NVFP4 --tensor-parallel-size 4 --tokenizer-mode deepseek_v41 --kv-cache-dtype fp8 --reasoning-parser deepseek_v41(完整参数见卡片);工具调用再加 --enable-auto-tool-choice --tool-call-parser deepseek_v41。
- 单卡 / 消费级:ExLlamaV3 v1.6.6 后 hf download turboderp/DeepSeek-V4.1-Flash-1017-exl3 --revision 2.68bpw;CPU + 大内存看 unsloth GGUF 或 ISTA-DASLab GSQ-RCO(llama.cpp b11870 以上);Apple 芯片看 mlx-community 的 oQ 系列。
风险
- NVFP4 版只支持 Blackwell,官方 vLLM 镜像载不了,要合入上面的 PR;SGLang 未验证,MTP 投机解码没测。
- 官方仓库讨论 #33(非思考模式下有系统提示词时,短问候约 47% 的回复会错乱,官方 API 也能复现)仍是 open,官方未确认;turboderp 卡片也提醒短提示输出错乱多半是模型本身的问题。其余量化的质量对比都是作者自测,下载量只代表关注度。