DeepInfer

DeepSeek 开源支撑自家线上服务的推理框架 DeepInfer，开源版提供 DeepSeek-V4.1-Flash 的离线推理。 星数 19757 置信度：高（100） · 事件时间 2026-10-19 **理由** - 官方称这是其大规模线上服务所用的推理框架；开源版含 Attention DP / 均衡 CP、MoE EP+EPLB、DSpark 投机解码、批次不变推理、确定性采样、结构化输出。 - 硬件支持英伟达 SM100 GPU 与华为昇腾 950 NPU，许可 Apache-2.0；README 说明最初基于 vLLM 构建。 - 10-20 官方宣布开源（SiliconANGLE、The Decoder 报道），仓库建于 10-16；Trendshift 快照星数 19,757，只代表关注度。 **用法** - 环境：Linux、GCC ≥ 13、Python 3.12；英伟达需 CUDA 13，昇腾需 CANN 9.2。 - export DEEPINFER\_ACCELERATOR=nvidia（昇腾改 ascend），再运行 ./build.sh 从源码构建。 - python examples/offline\_inference.py；默认从抱脸拉取 DeepSeek-V4.1-Flash-1017，可用 DEEPINFER\_HF\_MODEL\_DIR 指向本地权重。 **风险** - 只支持 DeepSeek-V4.1-Flash 一个模型；README 只列 SM100 与昇腾 950，Hopper 等旧卡不在支持列表。 - 开源版不含 KV cache 系统、Prefill/Decode 分离与数据并行负载均衡，搭完整在线服务要自己补。 - README 性能图为官方自测（prefill 4 张、decode 64 张 SM100），未见第三方复核。 [打开](https://github.com/deepseek-ai/DeepInfer) · [deepseek-ai/DeepInfer README](https://raw.githubusercontent.com/deepseek-ai/DeepInfer/HEAD/README.md) · [SiliconANGLE](https://siliconangle.com/2026/10/20/deepseek-open-sources-deepinfer-the-inference-framework-behind-its-production-services/) · [The Decoder](https://the-decoder.com/deepseek-open-sources-the-inference-engine-that-powers-its-fastest-and-cheapest-ai-model/)