huawei-csl/MACaQ

MACaQ — это метод калиброванного квантования от Huawei CSL, сопровождаемый научной статьей. Он позволяет квантовать текстовые модели до 2/3/4-битных форматов GGUF для запуска в llama.cpp или до формата W4A4 для развертывания в vLLM; также поддерживается квантование диффузионных моделей, таких как FLUX.2-klein, Wan2.2 и Stable Audio. По словам авторов, квантование модели с 122 млрд параметров занимает всего 64 минут и требует 32.5 ГБ видеопамяти. Также выпущена версия MACaQ-R, которая переоптимизирует кодирование весов, сохраняя исходный формат GGUF. В предоставленном авторами сравнении для модели Qwen3.6-35B-A3B расхождение Кульбака–Лейблера (KL) с FP16 при том же объеме файла ниже, чем у аналогичной версии от Unsloth.

MACaQ — это метод калиброванного квантования от Huawei CSL, сопровождаемый научной статьей. Он позволяет квантовать текстовые модели до 2/3/4-битных форматов GGUF для запуска в llama.cpp или до формата W4A4 для развертывания в vLLM; также поддерживается квантование диффузионных моделей, таких как FLUX.2-klein, Wan2.2 и Stable Audio. По словам авторов, квантование модели с 122 млрд параметров занимает всего 64 минут и требует 32.5 ГБ видеопамяти. Также выпущена версия MACaQ-R, которая переоптимизирует кодирование весов, сохраняя исходный формат GGUF. В предоставленном авторами сравнении для модели Qwen3.6-35B-A3B расхождение Кульбака–Лейблера (KL) с FP16 при том же объеме файла ниже, чем у аналогичной версии от Unsloth.

Почему это важно Один и тот же метод охватывает llama.cpp, vLLM, Diffusers и PyTorch, а также позволяет повысить качество существующих файлов GGUF без изменения формата.

Количество звезд 234 (+25 / 24 ч)

Причины

  • За 24 часов добавлено 25 звезд (отражает только уровень внимания); лицензия Apache-2.0
  • Для каждого бэкенда есть пошаговые инструкции для конкретных моделей; файлы GGUF, созданные с помощью MACaQ-R, работают со стандартным llama.cpp

Использование

  • Выберите бэкенд согласно README (Diffusers / llama.cpp / vLLM / PyTorch), используя отдельные среды Python 3.12 для каждого; если вам нужны только готовые модели, можно напрямую скачать файлы GGUF Qwen3.6-35B-A3B MACaQ-R с Hugging Face

Риски

  • Сравнения качества квантования выполнены только авторами; полный процесс MACaQ требует использования среды выполнения из репозитория, а не стандартного llama.cpp

Открыть

GitHub

Открыть последние новости ИИ