DeepSeek 开源了支撑自家大规模线上服务的推理框架 DeepInfer，这一版只提供离线（批量）推理，目前支持 DeepSeek-V4.1-Flash。
星数 23403
置信度：高（80） · 事件时间 2026-10-15
理由
- 仓库创建于 10-16（近期动态，非过去 24 小时）；GitHub deepseek-ai 来源上期抓取失败，本期首次进入候选。
- 官方称这是线上服务用的同一套框架：自研 FlashMLA、DeepGEMM、DeepEP 等内核，Attention DP / CP 与 MoE EP + EPLB 并行，DSpark 投机解码加按置信度安排验证，异步调度。
- 可开 batch-invariant 推理和确定性采样，同一输入、同一采样参数输出一致（仅 NVIDIA）；支持按正则、JSON Schema 或 EBNF 约束输出。
- 仓库带 AIME 2026、HLE、GPQA Diamond 的离线评测脚本；星数只代表关注度。
用法
- 环境：Linux、GCC 13+、Python 3.12，NVIDIA 需 CUDA 13，昇腾需 CANN 9.2；在空的 Python 3.12 环境里 export DEEPINFER_ACCELERATOR=nvidia（昇腾填 ascend）后运行 ./build.sh。
- python examples/offline_inference.py 默认下载 deepseek-ai/DeepSeek-V4.1-Flash-1017 到抱脸缓存；已有本地权重时设 DEEPINFER_HF_MODEL_DIR 指向它，多卡用 --ep 8、--ep 2 --dp 8 等参数。
- 确定性输出：DEEPINFER_BATCH_INVARIANT=1 DEEPINFER_ENABLE_MTP_VARLEN=0，并给 SamplingParams 传固定 seq_seed；结构化输出给 SamplingParams 传 so_args。
风险
- 只支持 NVIDIA SM100 架构 GPU 和华为昇腾 950 NPU，消费级显卡用不了；官方性能图是 4 卡 prefill、64 卡 decode 的测量。
- 这一版不含 KV cache 系统、Prefill/Decode 分离部署和多副本负载均衡，不能直接搭成完整在线服务；目前只支持 V4.1-Flash 一个模型。