huawei-csl/MACaQ

MACaQ là phương pháp lượng tử hóa hiệu chuẩn của Huawei CSL, kèm theo bài báo khoa học. Phương pháp này có thể lượng tử hóa các mô hình ngôn ngữ sang định dạng GGUF 2/3/4 bit để chạy bằng llama.cpp, hoặc lượng tử hóa sang W4A4 để triển khai trên vLLM; đồng thời cũng có thể lượng tử hóa các mô hình khuếch tán như FLUX.2-klein, Wan2.2, Stable Audio. Các tác giả cho biết một mô hình có 122 tỷ tham số chỉ cần 64 phút và 32.5 GB VRAM để hoàn tất quá trình lượng tử hóa. Ngoài ra, họ cũng công bố MACaQ-R, một phương pháp tối ưu hóa lại mã hóa trọng số trong khi vẫn giữ nguyên định dạng GGUF hiện có. Trong so sánh giữa Qwen3.6-35B-A3B do các tác giả cung cấp, ở cùng kích thước, độ phân kỳ KL so với FP16 thấp hơn so với phiên bản cùng mức của Unsloth.

MACaQ là phương pháp lượng tử hóa hiệu chuẩn của Huawei CSL, kèm theo bài báo khoa học. Phương pháp này có thể lượng tử hóa các mô hình ngôn ngữ sang định dạng GGUF 2/3/4 bit để chạy bằng llama.cpp, hoặc lượng tử hóa sang W4A4 để triển khai trên vLLM; đồng thời cũng có thể lượng tử hóa các mô hình khuếch tán như FLUX.2-klein, Wan2.2, Stable Audio. Các tác giả cho biết một mô hình có 122 tỷ tham số chỉ cần 64 phút và 32.5 GB VRAM để hoàn tất quá trình lượng tử hóa. Ngoài ra, họ cũng công bố MACaQ-R, một phương pháp tối ưu hóa lại mã hóa trọng số trong khi vẫn giữ nguyên định dạng GGUF hiện có. Trong so sánh giữa Qwen3.6-35B-A3B do các tác giả cung cấp, ở cùng kích thước, độ phân kỳ KL so với FP16 thấp hơn so với phiên bản cùng mức của Unsloth.

Tại sao quan trọng Cùng một phương pháp bao phủ llama.cpp, vLLM, Diffusers và PyTorch, đồng thời có thể nâng cao chất lượng của các tệp GGUF hiện có mà không cần thay đổi định dạng.

Số sao 234 (+25 / 24h)

Lý do

  • Tăng 25 sao trong 24 giờ (chỉ phản ánh mức độ quan tâm); giấy phép Apache-2.0
  • Mỗi backend đều có hướng dẫn sử dụng chi tiết cho từng mô hình, các tệp GGUF do MACaQ-R tạo ra có thể chạy trực tiếp bằng llama.cpp tiêu chuẩn

Cách sử dụng

  • Chọn backend theo README (Diffusers / llama.cpp / vLLM / PyTorch), mỗi loại sử dụng môi trường Python 3.12 riêng biệt; nếu chỉ muốn dùng kết quả đã lượng tử hóa, có thể tải trực tiếp tệp GGUF MACaQ-R của Qwen3.6-35B-A3B từ Hugging Face

Rủi ro

  • Các so sánh về chất lượng lượng tử hóa đều do các tác giả thực hiện; quy trình MACaQ đầy đủ yêu cầu runtime đi kèm trong kho lưu trữ, không phải llama.cpp tiêu chuẩn

Mở

GitHub

Xem tin AI mới nhất