Gộp 22 phiên bản lượng tử hóa từ cộng đồng và nhà cung cấp của V4.1-Flash-1017 thành một mục, bao phủ các định dạng GGUF, EXL3, MLX, GSQ, NVFP4, v.v.; so với 10-30, NVIDIA 10-30 đã phát hành phiên bản NVFP4, và turboderp EXL3 bổ sung thêm mức 2.68bpw.
Lượt tải (tổng) 2359927 · Lượt thích (tổng) 1106
Lý do
- nvidia/DeepSeek-V4.1-Flash-1017-NVFP4: Sử dụng Model Optimizer để chuyển đổi các chuyên gia định tuyến từ MXFP4 gốc sang NVFP4 (W4A4), chuyển đổi bảng tra cứu Engram từ FP8 sang MXFP4, trong khi phần attention, chuyên gia chia sẻ, thị giác và MTP giữ nguyên độ chính xác; thẻ mô hình ghi khoảng 400 GiB (gốc khoảng 475 GiB), gồm 48 phân đoạn, giấy phép MIT, được phép sử dụng thương mại.
- NVIDIA đã đo lường sáu bài kiểm tra so sánh trên bốn card GB300 bằng vLLM và kết quả gần như tương đương với trọng số gốc (ví dụ: GPQA Diamond 92.93 so với 92.77, Terminal-Bench 2.1 81.11 so với 81.81), đồng thời ghi rõ việc chuyển đổi trọng số chuyên gia là không mất mát, còn việc chuyển đổi Engram có gây mất mát.
- turboderp/DeepSeek-V4.1-Flash-1017-exl3 hiện có hai nhánh 2.25bpw và 2.68bpw, vẫn yêu cầu ExLlamaV3 v1.6.6 hoặc nhánh dev, các mức độ và đánh giá bổ sung sẽ được cập nhật sau.
Cách sử dụng
- Card trung tâm dữ liệu Blackwell: Sử dụng bản build vLLM hỗ trợ Engram MXFP4 (vllm-project/vllm#61530), chạy lệnh
vllm serve nvidia/DeepSeek-V4.1-Flash-1017-NVFP4 --tensor-parallel-size 4 --tokenizer-mode deepseek\_v41 --kv-cache-dtype fp8 --reasoning-parser deepseek\_v41(xem thẻ mô hình để biết đầy đủ tham số); để bật tính năng gọi công cụ, thêm--enable-auto-tool-choice --tool-call-parser deepseek\_v41. - Card đơn / dòng tiêu dùng: Sau khi cài ExLlamaV3 v1.6.6, chạy
hf download turboderp/DeepSeek-V4.1-Flash-1017-exl3 --revision 2.68bpw; đối với CPU + bộ nhớ lớn, xem xét GGUF của unsloth hoặc GSQ-RCO của ISTA-DASLab (yêu cầu llama.cpp b11870 trở lên); đối với chip Apple, xem loạt oQ của mlx-community.
Rủi ro
- Phiên bản NVFP4 chỉ hỗ trợ Blackwell, không thể tải bằng image vLLM chính thức, cần tích hợp PR nêu trên; SGLang chưa được xác minh, giải mã suy đoán MTP chưa được kiểm thử.
- Thảo luận #33 trên kho lưu trữ chính thức (khi ở chế độ không suy nghĩ và có prompt hệ thống, các phản hồi ngắn cho lời chào khoảng 47% sẽ bị lỗi, có thể tái hiện cả trên API chính thức) vẫn đang mở, chưa được chính thức xác nhận; thẻ mô hình của turboderp cũng cảnh báo rằng lỗi đầu ra với prompt ngắn phần lớn là do vấn đề của chính mô hình. Các so sánh chất lượng của các phiên bản lượng tử hóa khác đều do tác giả tự kiểm tra, lượt tải chỉ phản ánh mức độ quan tâm.