MACaQ:レイヤーごとに独立し、モデルを選ばない4ビット量子化手法

重みとアクティベーションを同時に量子化すればメモリと計算リソースを節約できますが、既存の手法は最適化コストが高く、アーキテクチャごとに基底変換をレイヤー間で伝播させる必要があります。MACaQは各線形レイヤーを個別に処理します。そのレイヤーのアクティベーションに対してチャネルごとのスケーリングとブロックHadamard変換をオンラインで行い、対応する逆変換を重みに吸収させるため、レイヤー間の依存関係がなく、量子化時には1レイヤーのみをメモリに保持すれば済みます。これを基盤としてFlip-Refinementを提案し、Hessianを考慮した座標降下法を用いて個々のFP4コードを隣接する表現可能な値へ移動させることで、四捨五入量子化を改善します。著者によれば、vLLM内での純粋なMXFP4に対するエンドツーエンドのオーバーヘッドは2.3%のみで、パープレキシティはDuQuant++やMR-GPTQより低く、Llama-3-8Bにおいてそれらの最良のパープレキシティを達成するのに必要な量子化時間は1/11です。1220億パラメータのモデルは64分で量子化が完了し、メモリ使用量は32.5GBのみです。

原題:MACaQ: Fast, Model Agnostic Calibrated Quantization for Low-Precision Weights and Activations

重みとアクティベーションを同時に量子化すればメモリと計算リソースを節約できますが、既存の手法は最適化コストが高く、アーキテクチャごとに基底変換をレイヤー間で伝播させる必要があります。MACaQは各線形レイヤーを個別に処理します。そのレイヤーのアクティベーションに対してチャネルごとのスケーリングとブロックHadamard変換をオンラインで行い、対応する逆変換を重みに吸収させるため、レイヤー間の依存関係がなく、量子化時には1レイヤーのみをメモリに保持すれば済みます。これを基盤としてFlip-Refinementを提案し、Hessianを考慮した座標降下法を用いて個々のFP4コードを隣接する表現可能な値へ移動させることで、四捨五入量子化を改善します。著者によれば、vLLM内での純粋なMXFP4に対するエンドツーエンドのオーバーヘッドは2.3%のみで、パープレキシティはDuQuant++やMR-GPTQより低く、Llama-3-8Bにおいてそれらの最良のパープレキシティを達成するのに必要な量子化時間は1/11です。1220億パラメータのモデルは64分で量子化が完了し、メモリ使用量は32.5GBのみです。

なぜ重要か アーキテクチャごとに専用の変換伝播を実装する必要がなく、量子化時には一度に1レイヤー分のメモリしか消費しないため、コンシューマー向け環境でも大規模モデルを量子化してローカルで実行できる

いいね 21 · コードのスター数 89

理由

  • バックエンドの対応範囲が広い:llama.cpp(2/3/4ビットGGUF、CPU実行可能)、vLLM(W4A4または重みのみ量子化)、Diffusers(FLUX.2-klein、Wan2.2の画像から動画への変換、Stable Audio)、PyTorch(Qwen3-TTSなどの音声モデル)、さらにAscend演算子も対応
  • READMEには、vLLMにおけるQwen3.8-27BのW4A4比較が記載されている:パープレキシティ 2.8463 → 2.8994、プリフィル速度 2.33倍、デコード速度 2.58倍
  • MACaQ-Rは既存のGGUFファイルの重みコードのみを微調整し、元のフォーマットを保持するため、標準的なllama.cppで直接実行可能。Qwen3.6-35B-A3BのMACaQ-R GGUFがすでに公開されている

使い方

  • コード:https://github.com/huawei-csl/MACaQ;按后端分目录(diffusers/、llamacpp/、vllm/、pytorch/),每个后端用独立的 Python 3.12 環境
  • 効果だけ試したい場合:Hugging Faceから huawei-csl/Qwen3.6-35B-A3B-MACaQ-R-GGUF をダウンロードし、llama cli -m <ファイル> で実行

リスク

  • W4A4の高速化には、MXFP4に対応したハードウェアと対応するvLLMカーネルが必要であり、READMEの速度数値は著者による測定結果である
  • 完全なアクティベーション変換フローにはリポジトリ付属のllama.cppランタイムが必要であり、標準的なllama.cppはMACaQ-Rファイルのみをサポートする
  • 本項目は未実行

開く · コード · Hugging Face論文ページ

Hugging Face Daily Papers

最新の AI ニュースを見る