Có 16 phiên bản lượng tử hóa do cộng đồng tạo ra từ trọng số chính thức của V4.1-Flash-1017, bao phủ các định dạng GGUF (llama.cpp và một số công cụ chuyên dụng), EXL3 (vLLM đa GPU / exllamav3), MLX và các định dạng dành riêng cho Apple Silicon; trong đợt này, chúng tôi đã xem xét kỹ từng thẻ mô hình và không phát hiện sự pha trộn của các phiên bản đã được gỡ bỏ kiểm duyệt hoặc tinh chỉnh.
Số lượt tải xuống (tổng) 1515552 · Số lượt thích (tổng) 843
Lý do
- Phiên bản GGUF GSQ-RCO của ISTA-DASLab có ba mức IQ1_M, IQ2_XXS và IQ2_XS (tổng cộng khoảng 231–266 GB), sau bản cập nhật 10-27 có thể được tải bằng llama.cpp phiên bản chính thức b11870 trở lên, hỗ trợ đầu vào hình ảnh; tác giả cho biết IQ2_XXS tương đương với bản gốc trên các bài kiểm tra AIME25, GPQA-Diamond và LiveCodeBench v6 (tự kiểm tra bởi tác giả, mức độ nỗ lực suy luận 50).
- Máy có bộ nhớ 128 GB có một vài lựa chọn: tác giả cho biết Maya-XS (công cụ Project Maya) chiếm 115.3 GB bộ nhớ thường trú; phiên bản Q2 GGUF của ds4 dành cho việc đọc trực tiếp từ SSD trên máy Mac có 128 GB RAM; unsloth cho biết phiên bản 1-bit nhỏ nhất yêu cầu hơn 128 GB bộ nhớ.
- Đối với cấu hình đa GPU, có các giải pháp EXL3: phiên bản của diffbot dành cho 2 card RTX PRO 6000, phiên bản của franken-v100 dành cho 8 card V100 32GB; phiên bản 2.9 bpw của LibertAI đi kèm với chat_template.jinja được chuyển đổi từ bộ mã hóa chính thức, tác giả cho biết kết quả hiển thị giống hệt với bản tham chiếu trên 8,455 trường hợp sử dụng.
- Tổng số lượt tải xuống và lượt thích chỉ phản ánh mức độ quan tâm.
Cách sử dụng
- llama.cpp: hf download ISTA-DASLab/DeepSeek-V4.1-Flash-1017-GSQ-RCO-GGUF --include "*IQ2_XXS*" "*Engram*" --local-dir ., liên kết mềm các tệp Engram thành phân đoạn thứ 6 theo thẻ mô hình, sau đó tải bằng llama-cli -m …-00001-of-00006.gguf.
- Apple Silicon: các phiên bản oQ4e / oQ2.5e (oMLX) của mlx-community hoặc Sushi-STQ 1.75bpw của beamster (yêu cầu sushi v1.4.0 trở lên, macOS 26.2 trở lên).
- Hầu hết các gói EXL3 không bao gồm hai bảng Engram, cần tải riêng phân đoạn thứ 47 và 48 từ kho lưu trữ chính thức (mỗi phân đoạn khoảng 95 GiB).
Rủi ro
- Ngay cả phiên bản nhỏ nhất cùng với bảng Engram cũng nặng vài trăm GB, bảng Engram cần được đặt trên SSD tốc độ cao; các kho lưu trữ khác nhau yêu cầu các công cụ và nhánh khác nhau (phiên bản của mrfakename vẫn yêu cầu một nhánh llama.cpp cụ thể, phiên bản của unsloth yêu cầu sử dụng PR của họ hoặc Unsloth Desktop), hãy kiểm tra thẻ mô hình tương ứng trước khi tải xuống.
- Các chỉ số chất lượng (KLD, tỷ lệ nhất quán top-1, điểm chuẩn) đều do từng tác giả tự kiểm tra với các phương pháp khác nhau; phiên bản lossless-CSF sử dụng giấy phép LIL tùy chỉnh và yêu cầu một trình tải chuyên dụng.