原题:MACaQ: Fast, Model Agnostic Calibrated Quantization for Low-Precision Weights and Activations
权重加激活一起量化能省显存和算力,但现有方法往往优化很贵,还要按架构把基变换跨层传播。MACaQ 对每个线性层单独处理:在线对该层激活做逐通道缩放和分块 Hadamard 变换,把对应的逆变换吸收进权重,因此没有跨层依赖,量化时只需一层留在显存里。在此基础上提出 Flip-Refinement,用考虑 Hessian 的坐标下降把个别 FP4 码挪到相邻可表示值,改进四舍五入量化。作者称在 vLLM 里比纯 MXFP4 只多 2.3% 端到端开销,困惑度低于 DuQuant++ 和 MR-GPTQ,在 Llama-3-8B 上达到它们最好困惑度只用 1/11 的量化时间;1220 亿参数模型 64 分钟量化完,只用 32.5 GB 显存。
为什么重要 不用为每种架构写专门的变换传播,量化时一次只占一层的显存,消费级环境也能量化大模型并本地跑
点赞 21 · 代码星数 89
理由
- 后端覆盖广:llama.cpp(2/3/4 位 GGUF,可 CPU 运行)、vLLM(W4A4 或只量化权重)、Diffusers(FLUX.2-klein、Wan2.2 图生视频、Stable Audio)、PyTorch(Qwen3-TTS 等语音模型),另有昇腾算子
- README 给出 Qwen3.8-27B 在 vLLM 里 W4A4 的对比:困惑度 2.8463 → 2.8994,预填充 2.33 倍、解码 2.58 倍速度
- MACaQ-R 只细调已有 GGUF 的权重码、保留原格式,标准 llama.cpp 直接能跑;已放出 Qwen3.6-35B-A3B 的 MACaQ-R GGUF
用法
- 代码:https://github.com/huawei-csl/MACaQ;按后端分目录(diffusers/、llamacpp/、vllm/、pytorch/),每个后端用独立的 Python 3.12 环境
- 只想试效果:从抱脸下载 huawei-csl/Qwen3.6-35B-A3B-MACaQ-R-GGUF,用 llama cli -m <文件> 运行
风险
- W4A4 的加速需要支持 MXFP4 的硬件和对应 vLLM 内核,README 的速度数字为作者测得
- 完整的激活变换流程要用仓库自带的 llama.cpp 运行时,标准 llama.cpp 只支持 MACaQ-R 文件
- 本条未运行