MACaQ: Phương pháp lượng tử hóa 4-bit độc lập theo từng lớp, không phụ thuộc vào mô hình

Lượng tử hóa đồng thời trọng số và kích hoạt giúp tiết kiệm bộ nhớ và tài nguyên tính toán, nhưng các phương pháp hiện tại thường có chi phí tối ưu hóa cao và yêu cầu lan truyền phép biến đổi cơ sở qua các lớp tùy theo kiến trúc. MACaQ xử lý riêng biệt từng lớp tuyến tính: thực hiện trực tuyến việc co giãn theo từng kênh và phép biến đổi Hadamard theo khối trên kích hoạt của lớp đó, đồng thời hấp thụ phép biến đổi ngược tương ứng vào trọng số, do đó không có sự phụ thuộc giữa các lớp và chỉ cần giữ một lớp trong bộ nhớ khi lượng tử hóa. Trên cơ sở đó, phương pháp Flip-Refinement được đề xuất, sử dụng thuật toán tối ưu hóa tọa độ có xét đến ma trận Hessian để dịch chuyển các mã FP4 riêng lẻ sang các giá trị có thể biểu diễn lân cận, cải thiện phương pháp lượng tử hóa làm tròn. Các tác giả tuyên bố rằng trong vLLM, phương pháp này chỉ tăng thêm 2.3% chi phí end-to-end so với MXFP4 thuần túy, độ perplexity thấp hơn DuQuant++ và MR-GPTQ, đạt được độ perplexity tốt nhất của họ trên Llama-3-8B chỉ với 1/11 thời gian lượng tử hóa; mô hình có 1220 tỷ tham số được lượng tử hóa xong trong 64 phút, chỉ sử dụng 32.5 GB bộ nhớ.

Tựa đề gốc: MACaQ: Fast, Model Agnostic Calibrated Quantization for Low-Precision Weights and Activations

Lượng tử hóa đồng thời trọng số và kích hoạt giúp tiết kiệm bộ nhớ và tài nguyên tính toán, nhưng các phương pháp hiện tại thường có chi phí tối ưu hóa cao và yêu cầu lan truyền phép biến đổi cơ sở qua các lớp tùy theo kiến trúc. MACaQ xử lý riêng biệt từng lớp tuyến tính: thực hiện trực tuyến việc co giãn theo từng kênh và phép biến đổi Hadamard theo khối trên kích hoạt của lớp đó, đồng thời hấp thụ phép biến đổi ngược tương ứng vào trọng số, do đó không có sự phụ thuộc giữa các lớp và chỉ cần giữ một lớp trong bộ nhớ khi lượng tử hóa. Trên cơ sở đó, phương pháp Flip-Refinement được đề xuất, sử dụng thuật toán tối ưu hóa tọa độ có xét đến ma trận Hessian để dịch chuyển các mã FP4 riêng lẻ sang các giá trị có thể biểu diễn lân cận, cải thiện phương pháp lượng tử hóa làm tròn. Các tác giả tuyên bố rằng trong vLLM, phương pháp này chỉ tăng thêm 2.3% chi phí end-to-end so với MXFP4 thuần túy, độ perplexity thấp hơn DuQuant++ và MR-GPTQ, đạt được độ perplexity tốt nhất của họ trên Llama-3-8B chỉ với 1/11 thời gian lượng tử hóa; mô hình có 1220 tỷ tham số được lượng tử hóa xong trong 64 phút, chỉ sử dụng 32.5 GB bộ nhớ.

Tại sao quan trọng Không cần viết các phép lan truyền biến đổi chuyên biệt cho từng kiến trúc, lượng tử hóa chỉ chiếm bộ nhớ của một lớp tại một thời điểm, cho phép lượng tử hóa các mô hình lớn và chạy cục bộ ngay cả trong môi trường tiêu dùng

Thích 21 · Số sao mã nguồn 89

Lý do

  • Phạm vi hỗ trợ backend rộng: llama.cpp (GGUF 2/3/4 bit, có thể chạy trên CPU), vLLM (W4A4 hoặc chỉ lượng tử hóa trọng số), Diffusers (FLUX.2-klein, Wan2.2 chuyển ảnh thành video, Stable Audio), PyTorch (các mô hình giọng nói như Qwen3-TTS), cùng với các toán tử Ascend
  • README cung cấp so sánh W4A4 của Qwen3.8-27B trong vLLM: độ perplexity 2.8463 → 2.8994, tốc độ prefill nhanh gấp 2.33 lần, tốc độ decode nhanh gấp 2.58 lần
  • MACaQ-R chỉ tinh chỉnh các mã trọng số của GGUF hiện có, giữ nguyên định dạng gốc, có thể chạy trực tiếp bằng llama.cpp tiêu chuẩn; đã phát hành GGUF MACaQ-R cho Qwen3.6-35B-A3B

Cách sử dụng

  • Mã nguồn: môi trường Python 3.12 https://github.com/huawei-csl/MACaQ;按后端分目录(diffusers/、llamacpp/、vllm/、pytorch/),每个后端用独立的
  • Chỉ muốn thử nghiệm hiệu quả: tải huawei-csl/Qwen3.6-35B-A3B-MACaQ-R-GGUF từ Hugging Face, chạy bằng lệnh llama cli -m <file>

Rủi ro

  • Tăng tốc W4A4 yêu cầu phần cứng hỗ trợ MXFP4 và kernel vLLM tương ứng, các con số tốc độ trong README do tác giả đo được
  • Quy trình biến đổi kích hoạt đầy đủ yêu cầu runtime llama.cpp đi kèm trong kho lưu trữ, llama.cpp tiêu chuẩn chỉ hỗ trợ các tệp MACaQ-R
  • Mục này chưa được chạy thử

Mở · Mã nguồn · Trang bài báo trên Hugging Face

Hugging Face Daily Papers

Xem tin AI mới nhất