synchopate/llama-modchip

llama-modchip là một bộ các bản vá kernel ggml/llama.cpp, bộ chuyển đổi lượng tử hóa và công cụ chạy, với mục tiêu đưa hoàn toàn các mô hình MoE thưa vào bộ nhớ hệ thống và chỉ suy luận bằng CPU. Tác giả tuyên bố đã nén thêm phiên bản DeepSeek-V4-Flash UD-IQ1_S của Unsloth xuống còn 56.56 GiB (khoảng 1.71 bpw), đạt tốc độ tiền xử lý khoảng 44 tok/s và tốc độ sinh văn bản 9.1–14.7 tok/s trên máy có bộ nhớ 64GB và 16 nhân Zen 5, hỗ trợ ngữ cảnh 256K; đối với các mô hình MoE cỡ 30B (như Nemotron-3.5-30B-A3B), tác giả tuyên bố đạt tốc độ 25–60 tok/s trên laptop có bộ nhớ 16–32GB. Dự án cũng tích hợp cơ chế draft tự suy đoán (self-speculative drafting) và khôi phục ảnh chụp nhanh KV, giúp tăng tốc các phiên hội thoại của agent với prompt dài.

llama-modchip là một bộ các bản vá kernel ggml/llama.cpp, bộ chuyển đổi lượng tử hóa và công cụ chạy, với mục tiêu đưa hoàn toàn các mô hình MoE thưa vào bộ nhớ hệ thống và chỉ suy luận bằng CPU. Tác giả tuyên bố đã nén thêm phiên bản DeepSeek-V4-Flash UD-IQ1_S của Unsloth xuống còn 56.56 GiB (khoảng 1.71 bpw), đạt tốc độ tiền xử lý khoảng 44 tok/s và tốc độ sinh văn bản 9.1–14.7 tok/s trên máy có bộ nhớ 64GB và 16 nhân Zen 5, hỗ trợ ngữ cảnh 256K; đối với các mô hình MoE cỡ 30B (như Nemotron-3.5-30B-A3B), tác giả tuyên bố đạt tốc độ 25–60 tok/s trên laptop có bộ nhớ 16–32GB. Dự án cũng tích hợp cơ chế draft tự suy đoán (self-speculative drafting) và khôi phục ảnh chụp nhanh KV, giúp tăng tốc các phiên hội thoại của agent với prompt dài.

Tại sao quan trọng Các mô hình MoE lớn không nhất thiết phải cần card đồ họa: các chuyên gia ít được sử dụng (cold experts) có thể được lưu trong bộ nhớ và đọc theo dòng chảy (streaming), cho phép thử nghiệm triển khai cục bộ ngay trên máy tính để bàn thông thường.

Số sao 785 (+287 / 24h)

Lý do

  • Tăng 287 sao trong 24 giờ (chỉ phản ánh mức độ quan tâm)
  • README liệt kê định dạng lượng tử hóa, mức tiêu thụ bộ nhớ và các script kiểm tra chất lượng có thể chạy lại cho từng loại tensor

Cách sử dụng

  • Sau khi clone kho lưu trữ, chạy ./modchip chat để tự động cấu hình; mô hình sử dụng các loại tensor tùy chỉnh, nên llama.cpp, Ollama và LM Studio gốc không thể đọc được, phải dùng chương trình đi kèm trong kho lưu trữ

Rủi ro

  • Các con số về tốc độ và chất lượng đều do tác giả tự kiểm tra; điểm chất lượng của phiên bản DeepSeek được so sánh với UD-IQ1_S vốn đã được nén xuống còn 1 bit, chứ không phải so với trọng số gốc
  • Tác động của lượng tử hóa ở mức bit cực thấp đối với các tác vụ phức tạp vẫn chưa rõ ràng; kho lưu trữ được tạo vào ngày 29 tháng 10

Mở

GitHub

Xem tin AI mới nhất