MACaQ 是华为 CSL 的校准量化方法,附论文。它能把文本模型量化成 2/3/4 位 GGUF 用 llama.cpp 运行,或量化成 W4A4 给 vLLM 部署;也能量化 FLUX.2-klein、Wan2.2、Stable Audio 等扩散模型。作者称 122B 参数的模型只需 64 分钟、32.5 GB 显存就能量化完。另发布 MACaQ-R,在保留原有 GGUF 格式的前提下重新优化权重编码,作者给出的 Qwen3.6-35B-A3B 对比中,同体积下与 FP16 的 KL 散度低于 Unsloth 的同档版本。
为什么重要 同一套方法覆盖 llama.cpp、vLLM、Diffusers 和 PyTorch,还能在不改格式的前提下提升现有 GGUF 的质量。
星数 234(+25 / 24h)
理由
- 24 小时新增 25 星(只代表关注度);Apache-2.0 许可
- 每个后端都有分模型的操作说明,MACaQ-R 产出的 GGUF 用标准 llama.cpp 就能跑
用法
- 按 README 选后端(Diffusers / llama.cpp / vLLM / PyTorch),各用独立的 Python 3.12 环境;只想用成品可直接下载抱脸上的 Qwen3.6-35B-A3B MACaQ-R GGUF
风险
- 量化质量对比都由作者完成;完整 MACaQ 流程需要仓库自带的运行时,不是标准 llama.cpp