为 NVIDIA 开源的 Rust 推理运行时 Flare 预先打包好的 V4.1-Flash-1017：权重、编译好的 CUDA 内核和捕获的执行图放在一个签名包里，4 卡张量并行直接起 OpenAI 兼容服务，支持图文和 1,048,576 token 上下文。
上升分 4 · 点赞 16 · 下载量 0
理由
- 按硬件分两个版本：gb202 面向一台机器上的 4 张 RTX PRO 6000 Blackwell 96 GB（约 515 GB），gb10 面向 4 台 DGX Spark（约 490 GB）。
- 无需 Python、无需运行时编译；加载前校验发布者签名，作者称单包最多 32 路并发，带自适应 MTP 验证。
- 模型卡 10-27 更新过；10-18 建库。
用法
- hf download local-inference-lab/DeepSeek-V4.1-Flash-1017-FLARE --revision gb202 --include '*.safetensors' 'publisher.json' --local-dir ./models，再用 ghcr.io/local-inference-lab/flare:release 镜像 run /models/model.safetensors --gpus 0,1,2,3（完整参数见 gb202 分支 README）。
- 接口在 /v1，模型名 DeepSeek-V4.1-Flash；DGX Spark 用户看 gb10 分支，用签名的 APT 包安装 flare。
风险
- 只能用 Flare 加载，Transformers、vLLM、SGLang、llama.cpp 都读不了；gb202 示例把 Engram 表放内存，需要至少 256 GiB 主机内存。
- 模型卡写明未做完整的精度评测；打包者是 local-inference-lab，不是 DeepSeek 官方。