MACaQ est une méthode de quantification par calibration développée par le CSL de Huawei, accompagnée d'un article scientifique. Elle permet de quantifier les modèles de texte en GGUF 2/3/4 bits pour une exécution avec llama.cpp, ou en W4A4 pour un déploiement avec vLLM ; elle peut également quantifier des modèles de diffusion tels que FLUX.2-klein, Wan2.2 et Stable Audio. Les auteurs affirment qu'un modèle de 122 milliards de paramètres peut être quantifié en seulement 64 minutes avec 32.5 Go de mémoire vidéo. Ils ont également publié MACaQ-R, qui réoptimise l'encodage des poids tout en conservant le format GGUF existant. Dans la comparaison fournie par les auteurs pour Qwen3.6-35B-A3B, la divergence KL par rapport à FP16, à taille égale, est inférieure à celle de la version équivalente d'Unsloth.
Pourquoi c'est important La même méthode couvre llama.cpp, vLLM, Diffusers et PyTorch, et permet d'améliorer la qualité des fichiers GGUF existants sans modifier leur format.
Nombre d'étoiles 234 (+25 / 24h)
Raisons
- 25 nouvelles étoiles en 24 heures (indique uniquement le niveau d'attention) ; licence Apache-2.0
- Chaque backend dispose d'instructions détaillées par modèle ; les fichiers GGUF produits par MACaQ-R fonctionnent avec llama.cpp standard
Utilisation
- Suivez le README pour choisir le backend (Diffusers / llama.cpp / vLLM / PyTorch), chacun nécessitant un environnement Python 3.12 distinct ; pour utiliser directement les modèles pré-quantifiés, téléchargez les fichiers GGUF MACaQ-R de Qwen3.6-35B-A3B disponibles sur Hugging Face
Risques
- Les comparaisons de qualité de quantification sont réalisées par les auteurs eux-mêmes ; le processus complet de MACaQ nécessite le runtime fourni par le dépôt, et non llama.cpp standard