Đây là gói triển khai do JMNI-Labs đóng gói cho công cụ suy luận Flare, phục vụ phiên bản DeepSeek-V4.1-Flash-1017 TrellisMX K2-Mix của cộng đồng bằng phương pháp song song hóa tensor trên hai máy DGX Spark: các chuyên gia định tuyến (routed experts) sử dụng hỗn hợp bit thấp K2/K3/K4, bảng Engram dùng 4 bit, trong khi cơ chế chú ý (attention), các chuyên gia chia sẻ (shared experts), MTP, mô-đun thị giác và bộ tokenizer vẫn giữ nguyên như bản gốc chính thức. Gói bao gồm 16 khe xử lý yêu cầu đồng thời, MTP với tối đa 5 token nháp để xác thực, dung lượng tải trọng khoảng 259 GiB và mặc định phân bổ khoảng 14 GiB cho bộ nhớ đệm KV.
Tại sao quan trọng Cung cấp một lộ trình sẵn có cho những người sở hữu hai máy DGX Spark: hỗ trợ xử lý đồng thời đa luồng, giao diện tương thích OpenAI và khả năng chứa ngữ cảnh dài.
Điểm tăng 2 · Lượt thích 2 · Lượt tải xuống 0
Lý do
- Thẻ mô hình ghi rõ nguồn gốc: trọng số MIT chính thức, phiên bản cụ thể của gói TrellisMX cộng đồng và các kernel được sử dụng
Cách dùng
- Cài đặt Flare từ nhánh xây dựng tương ứng trên cả hai máy DGX Spark; máy đầu tiên tải gói bằng lệnh flare download và khởi động với rank 0, máy thứ hai tham gia với rank 1, còn máy khách kết nối tới cổng 8000 của máy đầu tiên
Rủi ro
- Yêu cầu nhánh engine ds41-trellismx chưa được hợp nhất vào phiên bản chính thức, nên flare-inference phiên bản chính thức không thể tải được
- Gói chỉ đi kèm chữ ký phát triển cục bộ, cần thêm tham số --dangerously-* khi khởi động; tác giả khuyến cáo chỉ sử dụng trên các máy chủ đáng tin cậy hoặc chuyển sang chữ ký chính thức
- Không cung cấp dữ liệu chất lượng so sánh với trọng số chính thức