DeepSeek-V4.1-Flash-1017-dsx-t16（dsx 引擎）

dsx 是用 Rust + CUDA 为这一个模型写的推理引擎，这份新权重包让 V4.1-Flash-1017 在两张 RTX 3090 加 128GB 内存的台式机上运行。 下载量 0 · 点赞 0 **理由** - 作者称两张 RTX 3090 解码约 34.9 token/s、读 3K 提示约 365 token/s；同一台机器用 llama.cpp 跑 Unsloth UD-IQ1\_M 为 12 token/s。 - 常用专家放显存、其余在内存里由 CPU 计算，不裁剪专家；作者称与 FP8 原模型 top-1 一致率 81.4%、KL 0.194（Lucebox 评测）。 - 自带 OpenAI / Anthropic 兼容接口和网页聊天，支持图片和思考档位，可直接接编程 Agent。 **用法** - hf download lxe/DeepSeek-V4.1-Flash-1017-dsx-t16 --local-dir dsx-t16（约 302GB）。 - 在 github.com/lxe/dsx 源码目录执行 CUDA\_ARCHS=86 cargo build --release -p dsx --features cuda，再运行 ./target/release/dsx-server --model \<分片1\> --rank dsx-t16/expert-rank.json --ctx 131072。 - 需要 2 张 24GB 以上英伟达显卡、128GB 内存、AVX2 CPU、约 300GB NVMe。 **风险** - 本期采集时这份权重刚上传不到 1 小时、下载量为 0，速度和质量数字都是作者自测。 - 专家量化到 1.5–2.5 bit，作者给出的困惑度 9.60，原模型 8.56；引擎只服务这一个模型。 [打开](https://huggingface.co/lxe/DeepSeek-V4.1-Flash-1017-dsx-t16)