Kho lưu trữ này phát hành gói chạy DeepSeek-V4.1-Flash-1017 dành cho Flare (runtime suy luận cục bộ bằng Rust mã nguồn mở của NVIDIA). Mỗi phiên bản bao gồm trọng số đã được xử lý trước, kernel đã biên dịch, đồ thị thực thi đã được ghi lại và siêu dữ liệu chữ ký, phục vụ cho song song tensor trên bốn card. Hỗ trợ đầu vào văn bản và hình ảnh, mỗi yêu cầu tối đa 1,048,576 token, giao diện tương thích với OpenAI; có hai phiên bản nền tảng là gb202 và gb10, trong đó phiên bản sau đã mở rộng trước phần co giãn chuyên gia (expert scaling) để loại bỏ bước chuyển đổi khi chạy.
Tại sao quan trọng Kernel và đồ thị thực thi đều được biên dịch sẵn, không cần Python, có thể khởi động trực tiếp dịch vụ tương thích OpenAI trên máy DGX cục bộ hoặc máy nhiều card.
Điểm tăng 2 · Lượt thích 18 · Lượt tải 0
Lý do
- Gói chạy có chữ ký của nhà phát hành, Flare sẽ xác minh trước khi tải
Cách sử dụng
- Sau khi cài đặt Flare, hãy tải phiên bản tương ứng với nền tảng để chạy; các tệp của cùng một phiên bản phải được đặt cùng nhau, không được trộn lẫn
Rủi ro
- Transformers, vLLM, SGLang, llama.cpp đều không thể tải định dạng này
- Cần bốn card hoặc bốn thiết bị