Công cụ suy luận cục bộ dựa trên llama.cpp: đặt các chuyên gia (expert) của mô hình MoE vượt quá dung lượng bộ nhớ hoặc VRAM lên SSD để đọc theo nhu cầu, chạy bằng tệp GGUF tiêu chuẩn, cung cấp giao diện trò chuyện trên trình duyệt và API tương thích OpenAI; cách tiếp cận tương tự như colibri được đề xuất hàng đầu, nhưng hiện tại chỉ hỗ trợ hai mô hình.
Số sao 259 (+32 / 24h)
Lý do
- Các phiên bản GGUF do cộng đồng chuyển đổi hiện đã được kiểm thử là DeepSeek-V4.1-Flash-1017 và Muse-Spark-Open; tác giả đã so sánh tốc độ tiền xử lý (prefill) và tốc độ sinh văn bản với llama.cpp gốc và colibri trên bốn thiết bị: MacBook Pro (M5 Max), RTX 5060 Ti, RTX 5090 và DGX Spark, đồng thời công khai phương pháp đo lường
- Không cần thiết lập tham số bộ nhớ, chương trình tự động điều chỉnh dựa trên bộ nhớ khả dụng; lần chạy đầu tiên sẽ đo hiệu năng máy
Cách sử dụng
- macOS trên Apple Silicon hoặc Linux có card đồ họa NVIDIA: curl -fsSL https://github.com/wici-ai/inferssd/releases/latest/download/install.sh | sh (biên dịch từ mã nguồn, mất khoảng 2 đến 12 phút, không cần sudo)
- inferssd cli -hf mrfakename/DeepSeek-V4.1-Flash-1017-GGUF để trò chuyện trong terminal; inferssd serve -hf … để khởi động giao diện web và API http://127.0.0.1:8080/v1; --model-dir để chỉ định ổ đĩa lưu mô hình
Rủi ro
- Lần chạy đầu tiên yêu cầu tải xuống tệp mô hình khoảng 470 GiB; Linux cần bộ công cụ CUDA, các tệp header liburing và systemd được bật cgroup v2, Windows vẫn đang trong quá trình phát triển, chưa có gói biên dịch sẵn
- Các số liệu so sánh do tác giả tự kiểm thử; tệp mô hình là phiên bản chuyển đổi của cộng đồng, giấy phép trọng số tuân theo từng nhà phát hành; giấy phép Apache-2.0, kho lưu trữ được tạo vào ngày 22 tháng 10