jesdga/DeepSeek-V4.1-Flash-1017-Basalt

Đây là gói mô hình dành cho Basalt (công cụ suy luận cục bộ cho card đồ họa NVIDIA Blackwell sm_120, tương thích với giao diện OpenAI và Anthropic): mỗi tệp bao gồm trọng số DeepSeek-V4.1-Flash-1017 được lượng tử hóa bởi Unsloth, bảng Engram, lớp chiếu hình ảnh, bộ tokenizer và mô hình nháp DSpark, chia thành hai mức: UD-IQ1_M (260 GB) và UD-IQ2_XXS (285 GB). Hỗ trợ đầu vào hình ảnh và ngữ cảnh tối đa 1,048,576 token; tác giả cho biết tốc độ sinh đơn luồng khoảng 40–179 tok/s trên RTX 5090 kết hợp với 5060 Ti, tùy thuộc vào mức lượng tử hóa và nội dung.

Đây là gói mô hình dành cho Basalt (công cụ suy luận cục bộ cho card đồ họa NVIDIA Blackwell sm_120, tương thích với giao diện OpenAI và Anthropic): mỗi tệp bao gồm trọng số DeepSeek-V4.1-Flash-1017 được lượng tử hóa bởi Unsloth, bảng Engram, lớp chiếu hình ảnh, bộ tokenizer và mô hình nháp DSpark, chia thành hai mức: UD-IQ1_M (260 GB) và UD-IQ2_XXS (285 GB). Hỗ trợ đầu vào hình ảnh và ngữ cảnh tối đa 1,048,576 token; tác giả cho biết tốc độ sinh đơn luồng khoảng 40–179 tok/s trên RTX 5090 kết hợp với 5060 Ti, tùy thuộc vào mức lượng tử hóa và nội dung.

Tại sao quan trọng Các chuyên gia không vừa VRAM được giữ trong RAM, cho phép chạy cục bộ mô hình MoE lớn này trên các card đồ họa Blackwell dành cho người dùng phổ thông.

Điểm tăng 8 · Lượt thích 8 · Lượt tải 0

Lý do

  • Thẻ mô hình cung cấp độ perplexity, phân kỳ KL và tỷ lệ khớp token ưu tiên so với tham chiếu BF16

Cách sử dụng

  • Yêu cầu Basalt phiên bản 0.3.0 trở lên, tải tệp .basalt tương ứng và để Basalt nạp

Rủi ro

  • Các con số về tốc độ và chất lượng do tác giả tự đo trên phần cứng của họ
  • Tệp đơn lẻ từ 260 GB trở lên, yêu cầu RAM và dung lượng ổ đĩa lớn; chỉ hỗ trợ card đồ họa Blackwell

Mở

Hugging Face

Xem tin AI mới nhất