MACaQ は Huawei CSL によるキャリブレーション量子化手法であり、論文が添付されています。テキストモデルを 2/3/4 ビットの GGUF に量子化して llama.cpp で実行したり、W4A4 に量子化して vLLM でデプロイしたりできます。また、FLUX.2-klein、Wan2.2、Stable Audio などの拡散モデルの量子化にも対応しています。著者によると、122B パラメータのモデルは 64 分、32.5 GB の VRAM で量子化を完了できます。さらに、既存の GGUF 形式を維持したまま重みエンコーディングを再最適化する MACaQ-R もリリースされました。著者が提示した Qwen3.6-35B-A3B の比較では、同じサイズにおいて FP16 との KL ダイバージェンスが Unsloth の同クラスバージョンよりも低いとされています。
なぜ重要か 同一の手法で llama.cpp、vLLM、Diffusers、PyTorch をカバーし、さらに形式を変更せずに既存の GGUF の品質を向上させることができます。
スター数 234(+25 / 24h)
理由
- 24 時間で 25 スター増加(注目度のみを示す);Apache-2.0 ライセンス
- 各バックエンドごとにモデル別の操作手順があり、MACaQ-R で生成された GGUF は標準的な llama.cpp で実行可能
使い方
- README に従ってバックエンド(Diffusers / llama.cpp / vLLM / PyTorch)を選択し、それぞれ独立した Python 3.12 環境を使用します。完成品のみを使用する場合は、Hugging Face から Qwen3.6-35B-A3B の MACaQ-R GGUF を直接ダウンロードできます。
リスク
- 量子化品質の比較はすべて著者によって実施されています。完全な MACaQ フローにはリポジトリ付属のランタイムが必要であり、標準的な llama.cpp とは異なります。