hyperionaidev/smolmaxxing

smolmaxxing là một bộ bản vá llama.cpp: viết các kernel cho định dạng 1 bit, 2 bit và ternary trên Cortex-A55 và Apple A7, loại bỏ các hàng đầu ra ít được sử dụng trong từ điển để tiết kiệm bộ nhớ, và đối với mô hình hỗn hợp chuyên gia (MoE), chỉ giữ các chuyên gia thường dùng trong bộ nhớ, còn lại đọc từ bộ nhớ flash và prefetch lớp tiếp theo. Tác giả tuyên bố rằng hộp TV Xiaomi có thể chạy mô hình Ling-mini-2.0 với 16B tham số ở tốc độ 5.1 token/giây, và điện thoại OnePlus năm 2022 có thể chạy Qwen3-Next-80B-A3B; kho lưu trữ kèm theo ghi chép đầy đủ của 165 lần thử nghiệm, bao gồm cả những lần thất bại.

smolmaxxing là một bộ bản vá llama.cpp: viết các kernel cho định dạng 1 bit, 2 bit và ternary trên Cortex-A55 và Apple A7, loại bỏ các hàng đầu ra ít được sử dụng trong từ điển để tiết kiệm bộ nhớ, và đối với mô hình hỗn hợp chuyên gia (MoE), chỉ giữ các chuyên gia thường dùng trong bộ nhớ, còn lại đọc từ bộ nhớ flash và prefetch lớp tiếp theo. Tác giả tuyên bố rằng hộp TV Xiaomi có thể chạy mô hình Ling-mini-2.0 với 16B tham số ở tốc độ 5.1 token/giây, và điện thoại OnePlus năm 2022 có thể chạy Qwen3-Next-80B-A3B; kho lưu trữ kèm theo ghi chép đầy đủ của 165 lần thử nghiệm, bao gồm cả những lần thất bại.

Tại sao quan trọng Việc đặt các chuyên gia ít dùng của mô hình hỗn hợp chuyên gia (MoE) vào bộ nhớ flash và đọc theo nhu cầu cho phép các thiết bị chỉ có khoảng 1GB bộ nhớ vẫn có thể chạy các mô hình hàng chục tỷ tham số, với các con số đều được đo trên thiết bị thực tế.

Số sao 699 (+61 / 24h)

Lý do

  • Tăng 61 sao trong 24 giờ (chỉ phản ánh mức độ quan tâm); giấy phép MIT
  • Mỗi thiết bị đều cung cấp thông tin về chip, bộ nhớ khả dụng, tốc độ đo trên thiết bị cho các mô hình hàng ngày và mô hình lớn nhất, đồng thời công khai toàn bộ nhật ký benchmark

Cách sử dụng

  • Đối với hộp TV và các thiết bị Android ARMv8.2 khác, hãy làm theo docs/tv-box-setup.md; điện thoại Android có 8GB bộ nhớ có thể tải trực tiếp phiên bản GGUF dành cho điện thoại do tác giả tải lên Hugging Face và chạy theo docs/phone.md

Rủi ro

  • Các tệp mô hình cho hộp TV và iPad yêu cầu llama.cpp đã được vá để tải; giải pháp cho iPad yêu cầu thiết bị iOS 12 đã được jailbreak
  • Dữ liệu về tốc độ và chất lượng đều do tác giả tự đo trên thiết bị của mình

Mở

GitHub

Xem tin AI mới nhất