pico-dgx-ds4 est un fork de blaesus/dsgx10, permettant à plusieurs utilisateurs de partager un ensemble de 4 DGX Spark (TP4, commutateur RoCE 200G) exécutant DeepSeek V4.1 Flash 1017. L'auteur indique avoir étendu la fenêtre de contexte de 256K à 1M, ajouté la prise en charge des images en entrée, configuré 16 emplacements de requêtes (4 de 1M, 12 de 128K), avec un débit d'environ 380 tok/s lorsque 16 personnes envoient des requêtes différentes, environ 82 tok/s pour la conversation individuelle et 144 tok/s pour la rédaction de code, la qualité des évaluations étant comparable à celle de la version amont.
Pourquoi c'est important Lors de la mise en place d'une infrastructure d'inférence par une petite équipe, le débit en concurrence multi-utilisateurs est plus critique que la vitesse individuelle, et ce fork se concentre principalement sur cet aspect.
Étoiles 25
Raisons
- Le README énumère point par point les modifications et inclut un tableau comparatif avec la version amont et SGLang
Utilisation
- Nécessite 4 DGX Spark et une interconnexion RoCE, déploiement selon le README
Risques
- Les chiffres de performance sont auto-mesurés par l'auteur ; les options d'optimisation comme le reroutage d'experts sont dégradantes et désactivées par défaut
- Exigences matérielles élevées