Các phiên bản lượng tử hóa/đóng gói cộng đồng của V4.1-Flash-1017 được gộp thành một mục, hiện có 24 phiên bản, bao phủ các định dạng như GGUF (unsloth, ISTA DASLab, v.v.), EXL3, MLX, NVIDIA NVFP4, v.v. So với lần ghi nhận trước (10-31), điểm mới trong khoảng thời gian này là GSQ-RCO Coder do Phòng thí nghiệm DASLab thuộc Viện Khoa học và Công nghệ Áo (ISTA) phát hành vào 11-02: dựa trên phiên bản lượng tử hóa IQ2_XXS của nó, mỗi lớp cắt bỏ 192 trong số 384 chuyên gia định tuyến, các chuyên gia được giữ lại sẽ được lựa chọn dựa trên dữ liệu hiệu chuẩn cho mã hóa, gọi công cụ tác nhân, ngữ cảnh dài và thị giác.
Số lượt tải xuống (tổng) 3296957 · Số lượt thích (tổng) 1464
Lý do
- Tác giả cho biết: Trọng số Transformer của Coder là 72.12 GB (phiên bản IQ2_XXS không cắt tỉa là 138.2 GB), quy đổi theo tham số mô hình gốc thì khoảng 1.05 bit mỗi tham số; hai bảng tra cứu Engram nặng 110.6 GB dùng chung với phiên bản không cắt tỉa, được đọc từ đĩa theo từng dòng token nên không cần thường trực trong bộ nhớ, tổng dung lượng tải xuống là 182.72 GB.
- Đánh giá mã hóa do tác giả cung cấp (cường độ suy luận 50): SWE-bench Verified giảm từ 81.20 của mô hình gốc xuống còn 77.00 (giữ lại 94.8%), LiveCodeBench v6 giảm từ 89.71 xuống còn 88.57 (giữ lại 98.7%); các chuyên gia được lựa chọn liên hợp theo độ phân kỳ KL toàn mô hình bằng phương pháp RCO, thay vì chấm điểm tầm quan trọng từng lớp và lấy top đầu, danh sách các chuyên gia được giữ lại ở mỗi lớp đều được công khai trong kho lưu trữ.
- Các nhánh khác trong bản tổng hợp không có thay đổi; Coder là nhánh mới duy nhất xuất hiện trong khoảng thời gian này, cũng là lần đầu tiên mục này ghi nhận một phiên bản nén V4.1 với phương pháp "cắt tỉa chuyên gia theo mục đích sử dụng".
Cách dùng
- llama.cpp cần phiên bản b11870 hoặc mới hơn: hf download ISTA-DASLab/DeepSeek-V4.1-Flash-1017-GSQ-RCO-Coder-GGUF --include "IQ2_XXS/*" "*Engram*", sau đó liên kết các tệp Engram thành phân đoạn thứ 6 (thẻ mô hình cung cấp cú pháp ln -s và mklink /H cho Windows), llama-cli -m trỏ tới phân đoạn thứ 1, thêm tham số -ngl 99.
- Nếu đã tải phiên bản GSQ-RCO không cắt tỉa, các tệp Engram và bộ chiếu thị giác mmproj là giống nhau nên không cần tải lại; để xử lý hình ảnh hãy thêm --mmproj, cường độ suy luận dùng --reasoning on --reasoning-effort 50.
- Nếu chỉ hội thoại chung mà không thiên về mã hóa, tác giả khuyên dùng phiên bản GSQ-RCO không cắt tỉa; các định dạng khác (unsloth GGUF, EXL3, MLX, NVFP4) xem tại trang của từng nhánh trong bản tổng hợp.
Rủi ro
- Tác giả khẳng định đây là bản phát hành thử nghiệm: việc cắt bỏ một nửa số chuyên gia chắc chắn làm giảm năng lực, sự suy giảm khả năng ngoài các lĩnh vực mã hóa/gọi công cụ/ngữ cảnh dài/thị giác là cái giá phải trả của phương pháp này, thẻ mô hình chỉ cung cấp hai bài đánh giá mã hóa; các bước vận hành và con số VRAM trên động cơ Strata đơn card vẫn còn để trống (TBD) trong thẻ mô hình.
- Tất cả điểm số đều do tác giả tự kiểm tra ở cường độ suy luận 50, chưa có bên thứ ba tái hiện; vẫn cần tổ hợp bộ nhớ/VRAM đủ chứa khoảng 72 GB trọng số và khoảng 183 GB dung lượng đĩa, nếu đặt bảng Engram trên ổ cứng ngoài sẽ làm chậm quá trình tiền xử lý (prefill).