Picom-code/pico-dgx-ds4

pico-dgx-ds4 est un fork de blaesus/dsgx10, permettant à plusieurs utilisateurs de partager un ensemble de 4 DGX Spark (TP4, commutateur RoCE 200G) exécutant DeepSeek V4.1 Flash 1017. L'auteur indique avoir étendu la fenêtre de contexte de 256K à 1M, ajouté la prise en charge des images en entrée, configuré 16 emplacements de requêtes (4 de 1M, 12 de 128K), avec un débit d'environ 380 tok/s lorsque 16 personnes envoient des requêtes différentes, environ 82 tok/s pour la conversation individuelle et 144 tok/s pour la rédaction de code, la qualité des évaluations étant comparable à celle de la version amont.

pico-dgx-ds4 est un fork de blaesus/dsgx10, permettant à plusieurs utilisateurs de partager un ensemble de 4 DGX Spark (TP4, commutateur RoCE 200G) exécutant DeepSeek V4.1 Flash 1017. L'auteur indique avoir étendu la fenêtre de contexte de 256K à 1M, ajouté la prise en charge des images en entrée, configuré 16 emplacements de requêtes (4 de 1M, 12 de 128K), avec un débit d'environ 380 tok/s lorsque 16 personnes envoient des requêtes différentes, environ 82 tok/s pour la conversation individuelle et 144 tok/s pour la rédaction de code, la qualité des évaluations étant comparable à celle de la version amont.

Pourquoi c'est important Lors de la mise en place d'une infrastructure d'inférence par une petite équipe, le débit en concurrence multi-utilisateurs est plus critique que la vitesse individuelle, et ce fork se concentre principalement sur cet aspect.

Étoiles 25

Raisons

  • Le README énumère point par point les modifications et inclut un tableau comparatif avec la version amont et SGLang

Utilisation

  • Nécessite 4 DGX Spark et une interconnexion RoCE, déploiement selon le README

Risques

  • Les chiffres de performance sont auto-mesurés par l'auteur ; les options d'optimisation comme le reroutage d'experts sont dégradantes et désactivées par défaut
  • Exigences matérielles élevées

Ouvrir

GitHub

Parcourir les dernières actualités IA