(Mô tả kho) Một công cụ suy luận phân cấp dành cho các mô hình MoE tiên tiến: các chuyên gia (expert) đang hoạt động nằm trên GPU (CUDA, Vulkan), các chuyên gia ở trạng thái ấm nằm trong RAM, còn các chuyên gia lạnh được truyền từ NVMe. Được viết bằng C, chạy trên phần cứng mà bạn đã sở hữu.
Số sao 47253 (+802 / 24h)
Lý do
- Tăng 802 sao trong 24 giờ, tổng số sao là 47253 (chỉ phản ánh mức độ quan tâm).
Cách sử dụng
- Xem hướng dẫn sử dụng trong README của kho.
Rủi ro
- Bản nháp tự động: chưa được biên tập viên xem xét.