V4.1-Flash-1017 的 18 个社区量化 / 打包版本合为一条,覆盖 GGUF、EXL3、MLX、GSQ 等格式;和 10-28 相比,turboderp 10-29 新开了 EXL3 仓库,unsloth、ISTA-DASLab、mlx-community 也在 10-28 至 10-29 更新了文件。
下载量(合计) 2081926 · 点赞(合计) 928
理由
- turboderp/DeepSeek-V4.1-Flash-1017-exl3 10-29 建库,目前只有 2.25bpw 一档(放在 2.25bpw 分支),卡片写明需要 ExLlamaV3 v1.6.6 或 dev 分支,更多档位和评测随后补。
- unsloth GGUF 10-28 至 10-29 连续提交“Better versions / Better quants update”;卡片称最小的 1-bit 档在 128 GB 以上内存的机器能跑、3-bit 要 256 GB、全精度 320 GB,需用其 llama.cpp PR 或 Unsloth Desktop。
- ISTA-DASLab 的 GSQ-RCO GGUF 10-27 改用 llama.cpp b11870 及以上的 DeepSeek-V4.1 布局,10-28 转换脚本改成逐个核对官方公布的 SHA-256,下载损坏会直接报错;mlx-community 的 oQ3e-ngram-mtp 10-29 把注意力和 indexer 投影提到 8-bit。
用法
- N 卡 + ExLlamaV3:装 v1.6.6 或 dev 分支后 hf download turboderp/DeepSeek-V4.1-Flash-1017-exl3 --revision 2.25bpw。
- CPU + 大内存:unsloth GGUF 按其指南用 llama.cpp PR 跑;ISTA-DASLab GSQ-RCO 需要 llama.cpp b11870 以上(10-29 收的 Delta 引擎也能加载它)。Apple 芯片看 mlx-community 的 oQ 系列。
风险
- turboderp 卡片提醒:短提示输出错乱多半是模型本身的问题,并链接到官方仓库讨论 #33——社区用户报告非思考模式下有系统提示词时,对“hello”这类短问候约 47% 的回复会错乱,在官方 API 上也能复现;该讨论仍是 open,官方未确认。
- 全部是社区量化,各家质量对比都是作者自测;30 天合计下载量只代表关注度。