Gói cài đặt một chạm để chuyển đổi công cụ Xolotl / Strata từ Linux sang Windows: chạy V4.1-Flash-1017 (lượng tử hóa chuyên gia 2-bit) trên một máy tính thông thường được trang bị card đồ họa RTX có dung lượng từ 12 GB trở lên, bộ nhớ RAM từ 128 GB trở lên và ổ NVMe tốc độ cao, cung cấp giao diện cục bộ tương thích với OpenAI và Anthropic, hỗ trợ ngữ cảnh tối đa 1M.
Số sao 28
Lý do
- Nhấp đúp vào Start DeepSeek.bat sẽ tự động bổ sung dần Python, công cụ đã được biên dịch sẵn phù hợp với CPU và các tệp mô hình (hỗ trợ tải xuống gián đoạn, xác minh SHA-256 từng tệp), sau khi cài đặt xong sẽ tự động mở trang trò chuyện, không cần tự biên dịch.
- Tác giả tuyên bố tốc độ sinh văn bản khoảng 41 tok/s (bộ nhớ 192 GB) / 33 tok/s (bộ nhớ 128 GB) trên RTX 3090 + NVMe, tốc độ đọc prompt dài khoảng 610 / 410 tok/s; tỷ lệ khớp lựa chọn ưu tiên từng token với API chính thức của DeepSeek khi định tuyến chính xác là 91.4% (chung) / 92.1% (mã và toán học), tất cả đều là kết quả tự kiểm tra của tác giả.
- Mặc định sử dụng phiên bản ds4 của Q2 GGUF và tạo mô hình nháp giải mã suy đoán từ đầu MTP chính thức; Choose Model.bat cho phép chuyển đổi sang lượng tử hóa GSQ-RCO của ISTA-DASLab hoặc của unsloth, tác giả khuyến nghị UD-IQ1_S cho bộ nhớ 128 GB.
- Đã điều chỉnh cho Agent: bộ nhớ đệm tối đa 8 đoạn hội thoại trong RAM, không cần đọc lại toàn bộ prompt khi chuyển đổi; hỗ trợ tools, bắt buộc tool_choice và đầu ra JSON.
Cách sử dụng
- Yêu cầu Windows 10/11 64 bit, card đồ họa NVIDIA RTX có VRAM từ 12 GB trở lên (driver 580+, không hỗ trợ dòng GTX 10 và cũ hơn), RAM ≥128 GB, khoảng 385 GB dung lượng trên ổ NVMe; đặt kho lưu trữ ở đường dẫn ngắn (ví dụ: C:\AI\Delta), nhấp đúp vào Start DeepSeek.bat.
- Client kết nối tới http://127.0.0.1:8080/v1（OpenAI）或 /v1/messages (Anthropic), API Key có thể điền tùy ý, tên mô hình là deepseek-v4.1-flash-1017-ds4-q2; nếu gặp sự cố, hãy sử dụng Start DeepSeek (debug).bat, tệp này sẽ đóng gói nhật ký không chứa nội dung hội thoại.
Rủi ro
- Lần đầu tiên cần tải xuống khoảng 375 GB; mô hình liên tục đọc từ SSD trong quá trình chạy, ổ SATA, ổ HDD và USB đều không phù hợp; vài phút đầu sau khi khởi động lại sẽ chậm rõ rệt, tác giả đo được khoảng 17 tok/s trên card đồ họa 12 GB, các yêu cầu đến cùng lúc sẽ được xử lý theo thứ tự.
- Trọng số là phiên bản lượng tử hóa cộng đồng chứ không phải bản gốc chính thức, tốc độ và tỷ lệ khớp đều do tác giả tự đo trên máy của mình; mặc định chỉ lắng nghe máy cục bộ, nếu muốn sử dụng trong mạng LAN thì phải thiết lập api_key.