V4.1-Flash-1017 được đóng gói sẵn cho Flare, runtime suy luận Rust mã nguồn mở của NVIDIA: trọng số, nhân CUDA đã biên dịch và đồ thị thực thi được chụp lại nằm trong một gói có chữ ký, song song tensor trên 4 card khởi động trực tiếp dịch vụ tương thích OpenAI, hỗ trợ hình ảnh-văn bản và ngữ cảnh 1,048,576 token.
Điểm tăng 4 · Lượt thích 16 · Lượt tải 0
Lý do
- Hai phiên bản theo phần cứng: gb202 dành cho 4 card RTX PRO 6000 Blackwell 96 GB (khoảng 515 GB) trên một máy, gb10 dành cho 4 máy DGX Spark (khoảng 490 GB).
- Không cần Python, không cần biên dịch runtime; xác minh chữ ký của nhà xuất bản trước khi tải, tác giả cho biết một gói hỗ trợ tối đa 32 luồng đồng thời, kèm xác minh MTP thích ứng.
- Thẻ mô hình 10-27 đã được cập nhật; 10-18 xây dựng cơ sở dữ liệu.
Cách dùng
- hf download local-inference-lab/DeepSeek-V4.1-Flash-1017-FLARE --revision gb202 --include '*.safetensors' 'publisher.json' --local-dir ./models, sau đó sử dụng image ghcr.io/local-inference-lab/flare:release để chạy /models/model.safetensors --gpus 0,1,2,3 (xem README của nhánh gb202 để biết đầy đủ tham số).
- Giao diện nằm tại /v1, tên mô hình là DeepSeek-V4.1-Flash; người dùng DGX Spark xem nhánh gb10, cài đặt flare bằng gói APT có chữ ký.
Rủi ro
- Chỉ có thể tải bằng Flare, Transformers, vLLM, SGLang, llama.cpp đều không đọc được; ví dụ gb202 đặt bảng Engram vào bộ nhớ, yêu cầu ít nhất 256 GiB bộ nhớ máy chủ.
- Thẻ mô hình ghi rõ chưa thực hiện đánh giá độ chính xác đầy đủ; đơn vị đóng gói là local-inference-lab, không phải DeepSeek chính thức.