Un pack clé en main pour porter le moteur Xolotl / Strata de Linux vers Windows : exécutez V4.1-Flash-1017 (quantification des experts en 2 bits) sur un ordinateur standard équipé d'une carte graphique RTX de plus de 12 Go, de plus de 128 Go de mémoire et d'un NVMe rapide, en offrant une interface locale compatible avec OpenAI et Anthropic, avec un contexte allant jusqu'à 1 M.
Nombre d'étoiles 28
Raison
- Un double-clic sur Start DeepSeek.bat complète progressivement Python, le moteur précompilé adapté au CPU et les fichiers du modèle (téléchargements reprenables, vérification SHA-256 fichier par fichier), puis ouvre automatiquement la page de chat une fois l'installation terminée, sans compilation manuelle.
- L'auteur rapporte une génération d'environ 41 tok/s sur RTX 3090 + NVMe (192 Go de mémoire) / 33 tok/s (128 Go de mémoire), et une lecture de prompts longs d'environ 610 / 410 tok/s ; le taux de correspondance du premier choix token par token avec l'API officielle DeepSeek en routage précis est de 91.4% (général) / 92.1% (code et mathématiques), selon les tests de l'auteur.
- Utilise par défaut la version ds4 du format Q2 GGUF et un modèle de brouillon pour le décodage spéculatif à partir de l'en-tête MTP officiel ; Choose Model.bat permet de basculer vers les quantifications GSQ-RCO d'ISTA-DASLab ou d'unsloth, l'auteur recommandant UD-IQ1_S pour 128 Go de mémoire.
- Adapté aux agents : cache jusqu'à 8 segments de conversation en mémoire, évitant de relire tout le prompt lors des changements ; prend en charge les tools, tool_choice forcé et la sortie JSON.
Utilisation
- Nécessite Windows 10/11 64 bits, une carte graphique NVIDIA RTX avec plus de 12 Go de VRAM (pilote 580+, les séries GTX 10 et plus anciennes ne sont pas supportées), ≥128 Go de mémoire, environ 385 Go d'espace sur NVMe ; placez le dépôt dans un chemin court (ex. C:\AI\Delta) et double-cliquez sur Start DeepSeek.bat.
- Les clients se connectent à http://127.0.0.1:8080/v1（OpenAI）或 /v1/messages (Anthropic), la clé API peut être n'importe quelle valeur, le nom du modèle est deepseek-v4.1-flash-1017-ds4-q2 ; en cas de problème, utilisez Start DeepSeek (debug).bat, qui génère des logs sans inclure le contenu des conversations.
Risques
- Le téléchargement initial est d'environ 375 Go ; le modèle lit continuellement depuis le SSD pendant l'exécution, les disques SATA, mécaniques et les clés USB ne conviennent pas ; les premières minutes après un redémarrage sont nettement plus lentes, l'auteur a mesuré environ 17 tok/s sur une carte graphique de 12 Go, les requêtes arrivant simultanément étant traitées séquentiellement.
- Les poids sont des versions quantifiées par la communauté et non les originaux officiels, la vitesse et le taux de correspondance sont mesurés par l'auteur sur sa propre machine ; par défaut, l'écoute est locale uniquement, une api_key doit être définie pour l'utilisation sur réseau local.