Gộp 18 phiên bản lượng tử hóa / đóng gói cộng đồng của V4.1-Flash-1017 thành một mục, bao gồm các định dạng GGUF, EXL3, MLX, GSQ, v.v.; so với 10-28, turboderp 10-29 đã mở mới kho lưu trữ EXL3, còn unsloth, ISTA-DASLab và mlx-community cũng đã cập nhật các tệp từ 10-28 đến 10-29.
Số lượt tải xuống (tổng) 2081926 · Số lượt thích (tổng) 928
Lý do
- turboderp/DeepSeek-V4.1-Flash-1017-exl3 10-29 đã tạo kho lưu trữ, hiện chỉ có một mức 2.25bpw (nằm trong nhánh 2.25bpw), thẻ mô hình ghi rõ cần ExLlamaV3 v1.6.6 hoặc nhánh dev, các mức khác và đánh giá sẽ được bổ sung sau.
- unsloth GGUF từ 10-28 đến 10-29 liên tục gửi các cam kết “Better versions / Better quants update”; thẻ mô hình cho biết mức thấp nhất 1-bit có thể chạy trên máy có bộ nhớ từ 128 GB trở lên, mức 3-bit cần 256 GB, độ chính xác đầy đủ cần 320 GB, và cần sử dụng PR llama.cpp của họ hoặc Unsloth Desktop.
- GSQ-RCO GGUF của ISTA-DASLab 10-27 đã chuyển sang bố cục DeepSeek-V4.1 từ llama.cpp b11870 trở lên, script chuyển đổi từ 10-28 đã thay đổi để kiểm tra từng SHA-256 do chính thức công bố, nếu tệp tải xuống bị hỏng sẽ báo lỗi ngay; oQ3e-ngram-mtp của mlx-community 10-29 đã nâng các phép chiếu attention và indexer lên 8-bit.
Cách sử dụng
- Card NVIDIA + ExLlamaV3: Cài đặt v1.6.6 hoặc nhánh dev, sau đó chạy hf download turboderp/DeepSeek-V4.1-Flash-1017-exl3 --revision 2.25bpw.
- CPU + bộ nhớ lớn: Sử dụng unsloth GGUF theo hướng dẫn của họ với PR llama.cpp; ISTA-DASLab GSQ-RCO yêu cầu llama.cpp b11870 trở lên (công cụ Delta thu thập từ 10-29 cũng có thể tải mô hình này). Đối với chip Apple, hãy xem các dòng oQ của mlx-community.
Rủi ro
- Thẻ mô hình turboderp cảnh báo: Đầu ra bị lỗi với prompt ngắn thường là vấn đề của chính mô hình, và liên kết đến cuộc thảo luận #33 trên kho lưu trữ chính thức—người dùng cộng đồng báo cáo rằng trong chế độ không suy nghĩ (non-thinking mode), khi có system prompt, các phản hồi cho những lời chào ngắn như “hello” khoảng 47% thường bị lỗi, và điều này cũng có thể tái hiện trên API chính thức; cuộc thảo luận vẫn đang mở và chưa được xác nhận bởi đội ngũ chính thức.
- Tất cả đều là lượng tử hóa cộng đồng, so sánh chất lượng giữa các nhà cung cấp đều dựa trên tự kiểm tra của tác giả; tổng số lượt tải xuống trong 30 ngày chỉ phản ánh mức độ quan tâm.