원제: MACaQ: Fast, Model Agnostic Calibrated Quantization for Low-Precision Weights and Activations
가중치와 활성값을 함께 양자화하면 메모리와 연산량을 절약할 수 있지만, 기존 방법들은 최적화 비용이 높고 아키텍처별로 기저 변환을 레이어 간에 전파해야 하는 경우가 많습니다. MACaQ는 각 선형 레이어를 독립적으로 처리합니다: 해당 레이어의 활성값에 대해 채널별 스케일링과 블록 Hadamard 변환을 온라인으로 수행하고, 대응하는 역변환을 가중치에 흡수시키므로 레이어 간 의존성이 없으며 양자화 시 하나의 레이어만 메모리에 유지하면 됩니다. 이를 바탕으로 Flip-Refinement를 제안하며, Hessian을 고려한 좌표 하강법을 통해 개별 FP4 코드를 인접한 표현 가능한 값으로 이동시켜 반올림 양자화를 개선합니다. 저자들은 vLLM에서 순수 MXFP4 대비 엔드투엔드 오버헤드가 2.3%에 불과하며, 퍼플렉시티는 DuQuant++ 및 MR-GPTQ보다 낮고, Llama-3-8B 모델에서 이들의 최고 퍼플렉시티를 달성하는 데 필요한 양자화 시간은 1/11에 불과하다고 주장합니다. 또한 1220억 파라미터 모델을 64분 만에 양자화할 수 있으며, 이때 필요한 메모리는 32.5GB입니다.
중요성 아키텍처별로 전용 변환 전파 코드를 작성할 필요가 없으며, 양자화 시 한 번에 하나의 레이어만 메모리를 차지하므로 소비자용 환경에서도 대형 모델을 양자화하고 로컬에서 실행할 수 있습니다
좋아요 21 · 코드 스타 수 89
이유
- 광범위한 백엔드 지원: llama.cpp(2/3/4비트 GGUF, CPU 실행 가능), vLLM(W4A4 또는 가중치 전용 양자화), Diffusers(FLUX.2-klein, Wan2.2 이미지-투-비디오, Stable Audio), PyTorch(Qwen3-TTS 등 음성 모델), 추가로 Ascend 연산자 지원
- README에서 Qwen3.8-27B의 vLLM 내 W4A4 비교 결과 제공: 퍼플렉시티 2.8463 → 2.8994, 프리필 속도 2.33배, 디코드 속도 2.58배 향상
- MACaQ-R은 기존 GGUF 가중치 코드만 미세 조정하고 원본 형식을 유지하므로 표준 llama.cpp에서 바로 실행 가능; Qwen3.6-35B-A3B의 MACaQ-R GGUF 파일 공개됨
사용법
- 코드: https://github.com/huawei-csl/MACaQ;按后端分目录(diffusers/、llamacpp/、vllm/、pytorch/),每个后端用独立的 Python 3.12 환경
- 효과만 테스트하려면: Hugging Face에서 huawei-csl/Qwen3.6-35B-A3B-MACaQ-R-GGUF 다운로드 후, llama cli -m <파일> 명령어로 실행
리스크
- W4A4 가속을 위해서는 MXFP4을 지원하는 하드웨어와 해당 vLLM 커널이 필요하며, README의 속도 수치는 저자가 측정한 값임
- 완전한 활성값 변환 프로세스를 사용하려면 저장소 자체의 llama.cpp 런타임이 필요하며, 표준 llama.cpp는 MACaQ-R 파일만 지원함
- 본 항목은 실행되지 않음
열기 · 코드 · Hugging Face 논문 페이지