deepseek-ai/DeepInfer

DeepSeek 开源其线上服务所用推理框架的离线推理部分，目前只支持 DeepSeek-V4.1-Flash。 星数 19757（+2001 / 24h） **理由** - 官方称它支撑 DeepSeek 大规模生产服务；含 Attention DP、MoE EP + EPLB、草稿解码加置信度调度验证、批次不变推理、确定性采样、结构化输出 - 内核来自 FlashMLA、DeepGEMM、DeepEP 等自家库，最初基于 vLLM 构建 - 同时支持 NVIDIA SM100 与华为昇腾 950 - 10 月 16 日创建，当日新增 2001 星（只代表关注度） **用法** - 环境：Linux、GCC 13+、Python 3.12；NVIDIA 需 CUDA 13，昇腾需 CANN 9.2 - export DEEPINFER\_ACCELERATOR=nvidia（昇腾改为 ascend），然后 ./build.sh - python examples/offline\_inference.py；首次运行会下载 DeepSeek-V4.1-Flash-1017 权重 **风险** - 只支持 SM100 级 GPU 或昇腾 950，个人显卡跑不了 - 只开源了离线推理；KV cache 系统、PD 分离、数据并行负载均衡等完整服务组件不在本次发布里 - 官方基准用 4 卡做 prefill、64 卡做 decode，个人难以复现 [打开](https://github.com/deepseek-ai/DeepInfer)