DeepSeek-V4.1-Flash-1017-Volta(volta 引擎)
volta 是专为 8 卡 V100 服务器写的推理引擎,把 V4.1-Flash-1017 的专家重新量化后塞进旧机器,做多会话服务。
volta 是专为 8 卡 V100 服务器写的推理引擎,把 V4.1-Flash-1017 的专家重新量化后塞进旧机器,做多会话服务。
下载量 0 · 点赞 0
**理由**
- V100 不支持 FP8 / FP4 / bf16 运算,官方权重也放不下;作者把专家改成 3.25 / 2.25 bit 查表格式,拆到 8 张卡,每卡 27.5GB。
- 作者称 512 个会话合计约 3,070 token/s,单流 38 token/s;与 FP8 原模型 top-1 一致率 84.1%、KL 0.127。
- 提供与 dsx 相同的 OpenAI / Anthropic 兼容接口,支持工具调用、思考档位和前缀 KV 复用。
**用法**
- hf download lxe/DeepSeek-V4.1-Flash-1017-Volta --local-dir volta-weights(约 441GB)。
- CUDA\_ARCHS=70 cargo build --release -p dsx --features cuda --bin volta-server,再用 VOLTA\_PACK=volta-weights/pack-27.5gb-8xv100 ./target/release/volta-server --model volta-weights/base 启动。
- 需要 DGX-1 布局的 8×V100-SXM2-32GB(NVLink)、约 400GB 内存、CUDA 12.9。
**风险**
- 硬件面很窄:只适用 8 卡 V100 NVLink 服务器,权重包只能被 volta 读取。
- 本期采集时权重刚发布、下载量为 0,性能数字为作者自测。
[打开](https://huggingface.co/lxe/DeepSeek-V4.1-Flash-1017-Volta)