llama-modchip 是一组 ggml/llama.cpp 内核补丁、量化转码器和运行工具,目标是把稀疏 MoE 模型完全放进系统内存、只用 CPU 推理。作者称把 Unsloth 的 DeepSeek-V4-Flash UD-IQ1_S 版本再压到 56.56 GiB(约 1.71 bpw),在 64GB 内存、16 核 Zen 5 的机器上预填充约 44 tok/s、生成 9.1–14.7 tok/s,支持 256K 上下文;30B 级 MoE(如 Nemotron-3.5-30B-A3B)在 16–32GB 内存的笔记本上作者称有 25–60 tok/s。另带自投机草稿和 KV 快照恢复,给长提示的智能体会话提速。
为什么重要 大 MoE 模型不一定要显卡:冷门专家放在内存里流式读取,普通台式机也能试本地部署。
星数 785(+287 / 24h)
理由
- 24 小时新增 287 星(只代表关注度)
- README 列出了每类张量用的量化格式、内存占用和可复跑的质量测试脚本
用法
- 克隆仓库后运行 ./modchip chat 自动配置;模型用了自定义张量类型,原版 llama.cpp、Ollama、LM Studio 读不了,要用仓库自带的程序
风险
- 速度和质量数字都是作者自测;DeepSeek 版的质量分是和已经压到 1 位多的 UD-IQ1_S 比,不是和原始权重比
- 极低比特量化对复杂任务的影响未知;仓库 10 月 29 日创建