DeepSeek đã mã nguồn mở framework suy luận DeepInfer, vốn hỗ trợ các dịch vụ trực tuyến quy mô lớn của họ. Phiên bản này chỉ cung cấp suy luận ngoại tuyến (theo lô), hiện hỗ trợ DeepSeek-V4.1-Flash.
Số sao 23403
Độ tin cậy: Cao (80) · Thời gian sự kiện 2026-10-15
Lý do
- Kho lưu trữ được tạo vào 10-16 (hoạt động gần đây, không phải trong 24 giờ qua); nguồn GitHub deepseek-ai đã thất bại trong lần thu thập trước, lần này lần đầu tiên xuất hiện trong danh sách ứng viên.
- Chính thức, đây là cùng một framework được sử dụng cho các dịch vụ trực tuyến: các kernel tự phát triển như FlashMLA, DeepGEMM, DeepEP, cùng với song song hóa Attention DP / CP và MoE EP + EPLB, giải mã suy đoán DSpark kèm xác minh dựa trên độ tin cậy, và lập lịch bất đồng bộ.
- Có thể bật suy luận bất biến theo lô (batch-invariant) và lấy mẫu xác định, đảm bảo đầu ra nhất quán với cùng đầu vào và tham số lấy mẫu (chỉ trên NVIDIA); hỗ trợ ràng buộc đầu ra theo biểu thức chính quy, JSON Schema hoặc EBNF.
- Kho lưu trữ bao gồm các script đánh giá ngoại tuyến cho AIME 2026, HLE, GPQA Diamond; số sao chỉ phản ánh mức độ quan tâm.
Cách sử dụng
- Môi trường: Linux, GCC 13+, Python 3.12, NVIDIA yêu cầu CUDA 13, Ascend yêu cầu CANN 9.2; trong môi trường Python 3.12 trống, chạy export DEEPINFER_ACCELERATOR=nvidia (điền ascend cho Ascend) rồi chạy ./build.sh.
- Lệnh python examples/offline_inference.py mặc định tải deepseek-ai/DeepSeek-V4.1-Flash-1017 về bộ nhớ đệm Hugging Face; nếu đã có trọng số cục bộ, hãy đặt DEEPINFER_HF_MODEL_DIR trỏ đến thư mục đó, dùng các tham số như --ep 8, --ep 2 --dp 8 cho đa GPU.
- Đầu ra xác định: DEEPINFER_BATCH_INVARIANT=1 DEEPINFER_ENABLE_MTP_VARLEN=0, và truyền seq_seed cố định vào SamplingParams; đầu ra có cấu trúc truyền so_args vào SamplingParams.
Rủi ro
- Chỉ hỗ trợ GPU kiến trúc NVIDIA SM100 và NPU Huawei Ascend 950, không dùng được cho card đồ họa tiêu dùng; biểu đồ hiệu suất chính thức dựa trên phép đo với 4 thẻ cho prefill và 64 thẻ cho decode.
- Phiên bản này không bao gồm hệ thống bộ nhớ đệm KV, triển khai tách biệt Prefill/Decode và cân bằng tải đa bản sao, nên không thể trực tiếp xây dựng thành dịch vụ trực tuyến hoàn chỉnh; hiện chỉ hỗ trợ một mô hình là V4.1-Flash.