DeepSeek-V4.1-Flash-1017-Volta(volta 引擎)

volta 是专为 8 卡 V100 服务器写的推理引擎,把 V4.1-Flash-1017 的专家重新量化后塞进旧机器,做多会话服务。

volta 是专为 8 卡 V100 服务器写的推理引擎,把 V4.1-Flash-1017 的专家重新量化后塞进旧机器,做多会话服务。 下载量 0 · 点赞 0 **理由** - V100 不支持 FP8 / FP4 / bf16 运算,官方权重也放不下;作者把专家改成 3.25 / 2.25 bit 查表格式,拆到 8 张卡,每卡 27.5GB。 - 作者称 512 个会话合计约 3,070 token/s,单流 38 token/s;与 FP8 原模型 top-1 一致率 84.1%、KL 0.127。 - 提供与 dsx 相同的 OpenAI / Anthropic 兼容接口,支持工具调用、思考档位和前缀 KV 复用。 **用法** - hf download lxe/DeepSeek-V4.1-Flash-1017-Volta --local-dir volta-weights(约 441GB)。 - CUDA\_ARCHS=70 cargo build --release -p dsx --features cuda --bin volta-server,再用 VOLTA\_PACK=volta-weights/pack-27.5gb-8xv100 ./target/release/volta-server --model volta-weights/base 启动。 - 需要 DGX-1 布局的 8×V100-SXM2-32GB(NVLink)、约 400GB 内存、CUDA 12.9。 **风险** - 硬件面很窄:只适用 8 卡 V100 NVLink 服务器,权重包只能被 volta 读取。 - 本期采集时权重刚发布、下载量为 0,性能数字为作者自测。 [打开](https://huggingface.co/lxe/DeepSeek-V4.1-Flash-1017-Volta)

최신 AI 소식 보기