DeepSeek-4.1-Flash-1017-BRRR（4× RTX PRO 6000 部署方案）

一套不带权重的部署方案：在 4 张 RTX PRO 6000 Blackwell 上用 vLLM（Local Inference Lab 的 b12x 镜像）跑官方 V4.1-Flash-1017，专门为写代码时的单路解码速度调优。 上升分 3 · 点赞 3 · 下载量 0 **理由** - 作者在 4 张 Max-Q 版（325W）上测：关闭思考、2K 提示、单并发解码约 703 token/s，64K 提示约 675 token/s；思考 25% 档约 507 token/s（作者自测、短时测试）。 - 自写融合解码层、稀疏注意力解码、跨卡分词表采样等 CUDA 内核，用导入钩子给 vLLM 打补丁而不 fork；两层各约 98 GB 的 Engram 表留在 NVMe 上用 io\_uring 读取。 - 作者给了 KLD 对照：与原版 b12x vLLM 的差异在噪声范围内，top-1 一致率 96%。 - 提供 OpenAI 兼容接口（文字、图片、工具调用），默认 1M 上下文、16 路并发。 **用法** - 先下载官方权重：hf download deepseek-ai/DeepSeek-V4.1-Flash-1017 --local-dir ~/models/DeepSeek-V4.1-Flash-1017。 - hf download fraserprice/DeepSeek-4.1-Flash-1017-BRRR --local-dir ~/DeepSeek-4.1-Flash-1017-BRRR，再运行 bash ~/DeepSeek-4.1-Flash-1017-BRRR/serve.sh ~/models/DeepSeek-V4.1-Flash-1017；首次运行会构建 Docker 镜像并编译内核，服务在 8000 端口。 - 需要 4 张 96GB RTX PRO 6000 Blackwell、四卡间 PCIe 5.0 x16 P2P、权重放本地 NVMe（ext4 / xfs）、NVIDIA 驱动 ≥ 615.65、Docker 与 NVIDIA Container Toolkit。 **风险** - 作者说明方案高度贴合自己的硬件，大概率不再维护；内核按 TP=4 和这一个模型的形状编译，换卡数或换模型都不能用。 - 速度只有作者一台机器的短时测试；作者建议关闭 IOMMU 来提速，这会削弱主机的设备隔离。 - 用 top-p、top-k、惩罚项、logprobs 或结构化输出的请求会退回原版采样；10-25 刚上传，下载量为 0。 [打开](https://huggingface.co/fraserprice/DeepSeek-4.1-Flash-1017-BRRR)