MACaQ는 Huawei CSL의 캘리브레이션 양자화 기법으로, 논문이 함께 제공됩니다. 텍스트 모델을 2/3/4비트 GGUF로 양자화하여 llama.cpp에서 실행하거나, W4A4 형식으로 양자화하여 vLLM에 배포할 수 있습니다. 또한 FLUX.2-klein, Wan2.2, Stable Audio 등 확산 모델도 양자화할 수 있습니다. 저자들은 122B 파라미터 모델을 양자화하는 데 64분과 32.5GB의 VRAM만 필요하다고 주장합니다. 또한 기존 GGUF 형식을 유지하면서 가중치 인코딩을 재최적화한 MACaQ-R도 공개되었습니다. 저자가 제시한 Qwen3.6-35B-A3B 비교에서, 동일한 용량 기준으로 FP16 대비 KL 발산이 Unsloth의 동일 등급 버전보다 낮았습니다.
왜 중요한가 동일한 기법이 llama.cpp, vLLM, Diffusers 및 PyTorch를 모두 지원하며, 형식을 변경하지 않고도 기존 GGUF의 품질을 향상시킬 수 있습니다.
스타 수 234 (+25 / 24h)
이유
- 24시간 동안 스타가 25개 증가했습니다(관심도만 반영). Apache-2.0 라이선스 적용
- 각 백엔드마다 모델별 사용 설명서가 제공되며, MACaQ-R로 생성된 GGUF는 표준 llama.cpp에서 실행할 수 있습니다
사용법
- README를 참고하여 백엔드(Diffusers / llama.cpp / vLLM / PyTorch)를 선택하고, 각각 독립적인 Python 3.12 환경을 사용합니다. 완성된 모델만 사용하려면 Hugging Face에서 Qwen3.6-35B-A3B MACaQ-R GGUF를 직접 다운로드할 수 있습니다
리스크
- 양자화 품질 비교는 모두 저자가 수행했습니다. 전체 MACaQ 프로세스에는 저장소에 포함된 런타임이 필요하며, 표준 llama.cpp가 아닙니다