DeepSeek-V4.1-Flash-1017 · int3 for single V100-32GB

把 1017 压到单张 V100-32GB 加 64GB 内存上运行的非官方 int3 量化，专家按需从内存和 NVMe 读取。 下载量 0 · 点赞 0 **理由** - 路由专家 int3（3.125 bit）、稠密权重 int8、Engram 2-bit，显存只放稠密部分，专家走内存 LRU 加 NVMe 冷读。 - 作者写明稳态 1.2–1.35 token/s、首 token 十几秒到两分钟，并列出质量边界，没有夸大。 **用法** - 需要 Tesla V100 32GB、64GB 内存、≥300GB NVMe，PyTorch 2.6.0 + cu124；作者只在 Windows 10/11 验证。 - 推理代码仓库链接作者尚未给出（模型卡写“链接待补”）。 **风险** - 推理代码未公开，目前无法照做。 - 速度约 1 token/s，只适合验证可行性，不适合日常使用。 [打开](https://huggingface.co/JERRYNPC/deepseek-v4.1-flash-int3-v100)