MACaQ : une méthode de quantification à quatre bits indépendante par couche et agnostique vis-à-vis du modèle

La quantification conjointe des poids et des activations permet d'économiser la mémoire vidéo et la puissance de calcul, mais les méthodes existantes nécessitent souvent des optimisations coûteuses et doivent propager les transformations de base à travers les couches en fonction de l'architecture. MACaQ traite chaque couche linéaire individuellement : elle applique en ligne une mise à l'échelle par canal et une transformation de Hadamard par blocs aux activations de cette couche, puis absorbe la transformation inverse correspondante dans les poids. Il n'y a donc aucune dépendance inter-couches, et seule une couche doit rester en mémoire vidéo lors de la quantification. Sur cette base, Flip-Refinement est proposé : il utilise une descente de coordonnées tenant compte de la matrice Hessienne pour déplacer certains codes FP4 vers des valeurs représentables adjacentes, améliorant ainsi la quantification par arrondi. Les auteurs affirment que dans vLLM, le surcoût end-to-end n'est que de 2.3% supérieur à celui d'une MXFP4 pure, avec une perplexité inférieure à celle de DuQuant++ et de MR-GPTQ. Sur Llama-3-8B, ils atteignent leur meilleure perplexité en utilisant seulement 1/11 du temps de quantification ; un modèle de 1220 milliards de paramètres est quantifié en 64 minutes, n'utilisant que 32.5 Go de mémoire vidéo.

Titre original : MACaQ: Fast, Model Agnostic Calibrated Quantization for Low-Precision Weights and Activations

La quantification conjointe des poids et des activations permet d'économiser la mémoire vidéo et la puissance de calcul, mais les méthodes existantes nécessitent souvent des optimisations coûteuses et doivent propager les transformations de base à travers les couches en fonction de l'architecture. MACaQ traite chaque couche linéaire individuellement : elle applique en ligne une mise à l'échelle par canal et une transformation de Hadamard par blocs aux activations de cette couche, puis absorbe la transformation inverse correspondante dans les poids. Il n'y a donc aucune dépendance inter-couches, et seule une couche doit rester en mémoire vidéo lors de la quantification. Sur cette base, Flip-Refinement est proposé : il utilise une descente de coordonnées tenant compte de la matrice Hessienne pour déplacer certains codes FP4 vers des valeurs représentables adjacentes, améliorant ainsi la quantification par arrondi. Les auteurs affirment que dans vLLM, le surcoût end-to-end n'est que de 2.3% supérieur à celui d'une MXFP4 pure, avec une perplexité inférieure à celle de DuQuant++ et de MR-GPTQ. Sur Llama-3-8B, ils atteignent leur meilleure perplexité en utilisant seulement 1/11 du temps de quantification ; un modèle de 1220 milliards de paramètres est quantifié en 64 minutes, n'utilisant que 32.5 Go de mémoire vidéo.

Pourquoi c'est important Pas besoin d'écrire des propagations de transformations spécifiques pour chaque architecture ; la quantification n'occupe qu'une seule couche de mémoire vidéo à la fois, permettant de quantifier de grands modèles et de les exécuter localement même dans des environnements grand public

J'aime 21 · Étoiles du code 89

Raisons

  • Large couverture des backends : llama.cpp (GGUF en 2/3/4 bits, exécutable sur CPU), vLLM (W4A4 ou quantification des poids uniquement), Diffusers (FLUX.2-klein, Wan2.2 génération vidéo à partir d'images, Stable Audio), PyTorch (modèles vocaux tels que Qwen3-TTS), ainsi que des opérateurs Ascend
  • Le README fournit une comparaison pour Qwen3.8-27B dans vLLM avec W4A4 : la perplexité passe de 2.8463 à 2.8994, avec une vitesse de préremplissage multipliée par 2.33 et une vitesse de décodage multipliée par 2.58
  • MACaQ-R affine uniquement les codes de poids des fichiers GGUF existants tout en conservant le format original, ce qui permet une exécution directe avec llama.cpp standard ; des fichiers GGUF MACaQ-R pour Qwen3.6-35B-A3B ont été publiés

Utilisation

  • Code : https://github.com/huawei-csl/MACaQ;按后端分目录(diffusers/、llamacpp/、vllm/、pytorch/),每个后端用独立的 environnement Python 3.12
  • Pour tester simplement les résultats : téléchargez huawei-csl/Qwen3.6-35B-A3B-MACaQ-R-GGUF depuis Hugging Face et exécutez-le avec llama cli -m <fichier>

Risques

  • L'accélération W4A4 nécessite un matériel compatible MXFP4 et les noyaux vLLM correspondants ; les chiffres de vitesse du README ont été mesurés par les auteurs
  • Le flux complet de transformation des activations nécessite le runtime llama.cpp fourni avec le dépôt ; llama.cpp standard ne prend en charge que les fichiers MACaQ-R
  • Cet article n'a pas été exécuté

Ouvrir · Code · Page du papier sur Hugging Face

Hugging Face Daily Papers

Parcourir les dernières actualités IA