MACaQ: метод 4-битного квантования, независимый по слоям и не зависящий от модели

Квантование весов и активаций вместе позволяет экономить видеопамять и вычислительные ресурсы, однако существующие методы часто требуют дорогостоящей оптимизации и распространения преобразований базиса между слоями в зависимости от архитектуры. MACaQ обрабатывает каждый линейный слой отдельно: он выполняет поканальное масштабирование и блочное преобразование Адамара для активаций этого слоя в реальном времени, а соответствующее обратное преобразование поглощается в весах, поэтому межслойные зависимости отсутствуют, и во время квантования в видеопамяти остается только один слой. На этой основе предложен метод Flip-Refinement, который использует координатный спуск с учетом матрицы Гессе для перемещения отдельных кодов FP4 в соседние представимые значения, улучшая квантование методом округления. Авторы утверждают, что в vLLM накладные расходы на сквозную производительность по сравнению с чистым MXFP4 составляют всего 2.3%, перплексия ниже, чем у DuQuant++ и MR-GPTQ, а на модели Llama-3-8B достижение их лучшей перплексии занимает лишь 1/11 времени квантования; модель с 1220 миллиардами параметров квантуется за 64 минут, используя всего 32.5 ГБ видеопамяти.

Оригинальное название: MACaQ: Fast, Model Agnostic Calibrated Quantization for Low-Precision Weights and Activations

Квантование весов и активаций вместе позволяет экономить видеопамять и вычислительные ресурсы, однако существующие методы часто требуют дорогостоящей оптимизации и распространения преобразований базиса между слоями в зависимости от архитектуры. MACaQ обрабатывает каждый линейный слой отдельно: он выполняет поканальное масштабирование и блочное преобразование Адамара для активаций этого слоя в реальном времени, а соответствующее обратное преобразование поглощается в весах, поэтому межслойные зависимости отсутствуют, и во время квантования в видеопамяти остается только один слой. На этой основе предложен метод Flip-Refinement, который использует координатный спуск с учетом матрицы Гессе для перемещения отдельных кодов FP4 в соседние представимые значения, улучшая квантование методом округления. Авторы утверждают, что в vLLM накладные расходы на сквозную производительность по сравнению с чистым MXFP4 составляют всего 2.3%, перплексия ниже, чем у DuQuant++ и MR-GPTQ, а на модели Llama-3-8B достижение их лучшей перплексии занимает лишь 1/11 времени квантования; модель с 1220 миллиардами параметров квантуется за 64 минут, используя всего 32.5 ГБ видеопамяти.

Почему это важно Не нужно писать специальные преобразования для распространения по слоям для каждой архитектуры, во время квантования используется видеопамять только одного слоя, что позволяет квантовать большие модели и запускать их локально даже в потребительских условиях

Лайков 21 · Звезд в репозитории 89

Причины

  • Широкая поддержка бэкендов: llama.cpp (GGUF 2/3/4 бит, можно запускать на CPU), vLLM (W4A4 или квантование только весов), Diffusers (FLUX.2-klein, Wan2.2 генерация видео из изображений, Stable Audio), PyTorch (речевые модели, такие как Qwen3-TTS), а также операторы для Ascend
  • В README приведено сравнение Qwen3.8-27B в vLLM с W4A4: перплексия 2.8463 → 2.8994, скорость предзаполнения выше в 2.33 раза, скорость декодирования выше в 2.58 раза
  • MACaQ-R только тонко настраивает коды весов в существующих файлах GGUF, сохраняя исходный формат, поэтому стандартный llama.cpp может запускать их напрямую; уже выпущены файлы GGUF MACaQ-R для Qwen3.6-35B-A3B

Использование

  • Код: Python 3.12 в окружении https://github.com/huawei-csl/MACaQ;按后端分目录(diffusers/、llamacpp/、vllm/、pytorch/),每个后端用独立的
  • Если хотите просто попробовать: скачайте huawei-csl/Qwen3.6-35B-A3B-MACaQ-R-GGUF с Hugging Face и запустите через llama cli -m <файл>

Риски

  • Ускорение W4A4 требует аппаратного обеспечения с поддержкой MXFP4 и соответствующих ядер vLLM, цифры скорости в README получены авторами
  • Полный процесс преобразования активаций требует использования runtime llama.cpp из репозитория, стандартный llama.cpp поддерживает только файлы MACaQ-R
  • Этот пункт не был протестирован

Открыть · Код · Страница статьи на Hugging Face

Hugging Face Daily Papers

Открыть последние новости ИИ