这个仓库发布给 Flare(NVIDIA 开源的 Rust 本地推理运行时)用的 DeepSeek-V4.1-Flash-1017 运行包,每个版本含预处理的权重、编译好的内核、捕获的执行图和签名元数据,用于四卡张量并行。支持文本和图片输入,每个请求最长 1,048,576 token,接口兼容 OpenAI;分 gb202 和 gb10 两个平台版本,后者把专家缩放预先展开以省去运行时的转换。
为什么重要 内核和执行图都预先编译好、不需要 Python,本地 DGX 或多卡机器可直接起兼容 OpenAI 的服务。
上升分 2 · 点赞 18 · 下载量 0
理由
- 运行包带发布者签名,Flare 加载前会校验
用法
- 安装 Flare 后下载对应平台的版本运行;同一版本的文件要放在一起,不能混用
风险
- Transformers、vLLM、SGLang、llama.cpp 都无法加载这种格式
- 需要四张卡或四台设备