DeepSeek a open-sourcé DeepInfer, le framework d'inférence qui soutient ses propres services en ligne à grande échelle. Cette version ne propose que de l'inférence hors ligne (par lots) et prend actuellement en charge DeepSeek-V4.1-Flash.
Nombre d'étoiles 23403
Confiance : élevée (80) · Date de l'événement 2026-10-15
Raisons
- Le dépôt a été créé le 10-16 (activité récente, et non au cours des 24 dernières heures) ; la source GitHub deepseek-ai avait échoué lors de la récupération précédente et fait son entrée dans les candidats pour la première fois cette période.
- DeepSeek affirme qu'il s'agit du même framework utilisé pour les services en ligne : kernels développés en interne tels que FlashMLA, DeepGEMM et DeepEP, parallélisme Attention DP / CP et MoE EP + EPLB, décodage spéculatif Dspark avec validation ordonnée par confiance, et planification asynchrone.
- Possibilité d'activer l'inférence invariante par lot et l'échantillonnage déterministe, garantissant des sorties identiques pour une même entrée et des paramètres d'échantillonnage identiques (uniquement sur NVIDIA) ; prise en charge de la contrainte de sortie via des expressions régulières, des schémas JSON ou EBNF.
- Le dépôt inclut des scripts d'évaluation hors ligne pour AIME 2026, HLE et GPQA Diamond ; le nombre d'étoiles ne reflète que l'attention portée au projet.
Utilisation
- Environnement : Linux, GCC 13+, Python 3.12, CUDA 13 requis pour NVIDIA, CANN 9.2 requis pour Ascend ; dans un environnement Python 3.12 vide, exportez DEEPINFER_ACCELERATOR=nvidia (remplissez ascend pour Ascend) puis exécutez ./build.sh.
- python examples/offline_inference.py télécharge par défaut deepseek-ai/DeepSeek-V4.1-Flash-1017 dans le cache Hugging Face ; si vous disposez déjà de poids locaux, définissez DEEPINFER_HF_MODEL_DIR pour qu'il pointe vers eux, et utilisez des paramètres tels que --ep 8, --ep 2 --dp 8 pour le multi-GPU.
- Sortie déterministe : DEEPINFER_BATCH_INVARIANT=1 DEEPINFER_ENABLE_MTP_VARLEN=0, et passez un seq_seed fixe à SamplingParams ; pour la sortie structurée, passez so_args à SamplingParams.
Risques
- Ne prend en charge que les GPU NVIDIA d'architecture SM100 et les NPU Huawei Ascend 950 ; les cartes graphiques grand public ne sont pas utilisables ; les graphiques de performance officiels sont basés sur des mesures effectuées avec 4 cartes pour le prefill et 64 cartes pour le decode.
- Cette version n'inclut pas le système de cache KV, le déploiement séparé Prefill/Decode ni l'équilibrage de charge multi-répliques, et ne peut donc pas être directement configurée comme un service en ligne complet ; seul le modèle V4.1-Flash est actuellement pris en charge.