V4.1-Flash-1017 的社区量化 / 打包版本合为一条,现有 24 个,覆盖 GGUF(unsloth、ISTA DASLab 等)、EXL3、MLX、NVIDIA NVFP4 等格式。和上次收录(10-31)比,窗口内新增的是奥地利科学技术研究所 DASLab 在 11-02 发布的 GSQ-RCO Coder:在其 IQ2_XXS 量化版的基础上,每层 384 个路由专家删掉 192 个,保留下来的专家按代码、智能体工具调用、长上下文和视觉的校准数据挑选。
下载量(合计) 3296957 · 点赞(合计) 1464
理由
- 作者称:Coder 的 Transformer 权重 72.12 GB(未剪枝的 IQ2_XXS 版是 138.2 GB),按原模型参数折算约每参数 1.05 bit;两张 Engram 查找表 110.6 GB 与未剪枝版共用、按 token 逐行从磁盘读,可以不常驻内存,整套下载 182.72 GB。
- 作者给的代码评测(推理强度 50):SWE-bench Verified 从原模型 81.20 降到 77.00(保留 94.8%),LiveCodeBench v6 从 89.71 降到 88.57(保留 98.7%);专家用 RCO 方法按整模型 KL 散度联合挑选,而不是逐层按重要性打分取前几名,每层保留的专家清单随仓库公开。
- 汇总里其他分支没有变化;Coder 是窗口内唯一新出现的分支,也是本栏目第一次看到“按用途剪专家”的 V4.1 压缩版。
用法
- llama.cpp 需要 b11870 或更新版本:hf download ISTA-DASLab/DeepSeek-V4.1-Flash-1017-GSQ-RCO-Coder-GGUF --include "IQ2_XXS/*" "*Engram*",再把 Engram 文件链接成第 6 个分片(卡片给了 ln -s 和 Windows 的 mklink /H 写法),llama-cli -m 指向第 1 个分片、加 -ngl 99。
- 已经下过未剪枝 GSQ-RCO 版的,Engram 文件和视觉投影 mmproj 是同一份,不用重下;看图加 --mmproj,推理强度用 --reasoning on --reasoning-effort 50。
- 只做通用对话、不偏代码的,作者建议用未剪枝的 GSQ-RCO 版本;其他格式(unsloth GGUF、EXL3、MLX、NVFP4)见汇总里的各个分支页面。
风险
- 作者明确说是实验性发布:删掉一半专家必然损失能力,代码 / 工具调用 / 长上下文 / 视觉以外的能力下降是方法的代价,卡片只给了两项代码评测;单卡 Strata 引擎的运行步骤和显存数字在卡片里还是待补(TBD)。
- 所有分数是作者在推理强度 50 下自测,没有第三方复现;仍需要能放下约 72 GB 权重的内存 / 显存组合和约 183 GB 磁盘空间,Engram 表放外置盘会拖慢预填充。