Công cụ suy luận cục bộ được viết hoàn toàn bằng C, chuyên chạy các mô hình Hỗn hợp Chuyên gia (MoE) cực lớn: các phần cần dùng cho mỗi token (cơ chế chú ý, chuyên gia chia sẻ, nhúng từ) luôn thường trực trong bộ nhớ, còn các chuyên gia được định tuyến chọn sẽ được đọc từ ổ cứng khi cần và sử dụng bộ nhớ đệm để ghi nhớ những chuyên gia bạn hay dùng; không yêu cầu card đồ họa, nếu có card đồ họa thì sẽ đặt các chuyên gia nóng nhất và các lớp dày đặc lên đó.
Số sao 46561 (+675 / 24h)
Lý do
- Điểm xuất phát của tác giả: Mô hình MoE rất lớn trên ổ cứng nhưng phần thực sự được sử dụng cho mỗi token lại nhỏ, ví dụ với GLM-5.2, tổng tham số là 744B nhưng mỗi token chỉ dùng khoảng 40B, do đó không cần nhét toàn bộ mô hình vào VRAM, chỉ cần “đặt đúng chỗ”; tác giả nhấn mạnh rằng chiến lược mặc định sẽ không âm thầm thay đổi độ chính xác hay cơ chế định tuyến của mô hình, việc thiếu bộ nhớ chỉ ảnh hưởng đến tốc độ
- README liệt kê 13 công cụ: các mô hình ngôn ngữ bao gồm GLM-5.2/5.3, Kimi K3, DeepSeek V4 / V4.1 Flash, MiMo-V2.6, Qwen3.6 / Qwen3.8, v.v., ngoài ra còn có mô hình tạo ảnh từ văn bản Qwen-Image-2.1 và mô hình quyết định chỉ dành cho các câu hỏi đúng/sai; cũng có thể đọc trực tiếp các tệp GGUF đã phát hành, hỗ trợ CPU, Vulkan (bất kỳ card đồ họa nào, kể cả đồ họa tích hợp) và CUDA
- coli serve đồng thời cung cấp giao diện tương thích OpenAI và Anthropic (Claude Code có thể kết nối trực tiếp), gọi công cụ, đầu vào hình ảnh và giao diện tạo ảnh từ văn bản; đi kèm bảng điều khiển web cho phép xem khi nào mỗi chuyên gia được kích hoạt; tốc độ của mỗi mô hình đều được ghi rõ máy thử nghiệm (do tác giả tự kiểm tra)
Cách sử dụng
- Yêu cầu tối thiểu 8 GB RAM (tốt hơn nếu có từ 16 GB trở lên), mô hình nhỏ nhất cần 22 GB dung lượng ổ cứng, card đồ họa là tùy chọn; trên Windows tải tệp ZIP rồi nhấp đúp vào START-HERE.bat, trên Linux / macOS hãy nhân bản kho lưu trữ rồi chạy ./start-here.sh
- Trình cài đặt sẽ phát hiện RAM, ổ cứng, CPU và card đồ họa để đề xuất mô hình phù hợp, tự động biên dịch hoặc tải xuống công cụ, hỗ trợ tải mô hình có thể tiếp tục nếu bị gián đoạn, sau đó mở http://127.0.0.1:8000/ ; dùng --list để xem liệu mỗi mô hình có thể chạy trên máy của bạn hay không, --model để chỉ định mô hình, --backend vulkan / cuda / cpu để chỉ định backend
- Kết nối với các chương trình khác: sử dụng base URL OpenAI là http://127.0.0.1:8000/v1，Anthropic, base URL Anthropic là http://127.0.0.1:8000；也可以让; trợ lý AI có thể thay mặt bạn cài đặt theo docs/AI_SETUP.md, hoặc sử dụng công cụ MCP do coli mcp cung cấp
Rủi ro
- Tốc độ của các mô hình lớn phụ thuộc vào ổ cứng, các con số do tác giả đưa ra thường nằm trong khoảng từ 0.05 đến vài token mỗi giây, Kimi K3 lớn nhất mất khoảng 9.4 giây cho một token, phù hợp hơn với các tác vụ không cần gấp; việc tải xuống các mô hình lớn có thể lên tới hàng trăm GB, đòi hỏi ổ cứng NVMe nhanh
- Giấy phép của công cụ là Apache-2.0, nhưng mỗi mô hình có giấy phép riêng: README ghi rõ Qwen-Image-2.1 có giấy phép phi thương mại, Muse Spark Open chịu ràng buộc bởi thỏa thuận cấp phép của Meta; tất cả các con số tốc độ đều do tác giả đo được trên các máy được liệt kê