local-inference-lab/DeepSeek-V4.1-Flash-1017-FLARE

这个仓库发布给 Flare(NVIDIA 开源的 Rust 本地推理运行时)用的 DeepSeek-V4.1-Flash-1017 运行包,每个版本含预处理的权重、编译好的内核、捕获的执行图和签名元数据,用于四卡张量并行。支持文本和图片输入,每个请求最长 1,048,576 token,接口兼容 OpenAI;分 gb202 和 gb10 两个平台版本,后者把专家缩放预先展开以省去运行时的转换。

这个仓库发布给 Flare(NVIDIA 开源的 Rust 本地推理运行时)用的 DeepSeek-V4.1-Flash-1017 运行包,每个版本含预处理的权重、编译好的内核、捕获的执行图和签名元数据,用于四卡张量并行。支持文本和图片输入,每个请求最长 1,048,576 token,接口兼容 OpenAI;分 gb202 和 gb10 两个平台版本,后者把专家缩放预先展开以省去运行时的转换。

为什么重要 内核和执行图都预先编译好、不需要 Python,本地 DGX 或多卡机器可直接起兼容 OpenAI 的服务。

上升分 2 · 点赞 18 · 下载量 0

理由

  • 运行包带发布者签名,Flare 加载前会校验

用法

  • 安装 Flare 后下载对应平台的版本运行;同一版本的文件要放在一起,不能混用

风险

  • Transformers、vLLM、SGLang、llama.cpp 都无法加载这种格式
  • 需要四张卡或四台设备

打开

Hugging Face

浏览最新 AI 动态