Picom-code/pico-dgx-ds4

pico-dgx-ds4 は blaesus/dsgx10 のフォークで、複数のユーザーが 4 台の DGX Spark(TP4、200G RoCE スイッチ)上で DeepSeek V4.1 Flash 1017 を共有できるようにします。作者によれば、コンテキストウィンドウを 256K から 1M に拡張し、画像入力を追加し、16 個のリクエストスロット(4 個の 1M、12 個の 128K)を設定しました。16 人がそれぞれ異なるリクエストを送信した場合のスループットは約 380 tok/s、単独でのチャットおよびコード作成時は約 82 および 144 tok/s となり、品質評価は上流と同等です。

pico-dgx-ds4 は blaesus/dsgx10 のフォークで、複数のユーザーが 4 台の DGX Spark(TP4、200G RoCE スイッチ)上で DeepSeek V4.1 Flash 1017 を共有できるようにします。作者によれば、コンテキストウィンドウを 256K から 1M に拡張し、画像入力を追加し、16 個のリクエストスロット(4 個の 1M、12 個の 128K)を設定しました。16 人がそれぞれ異なるリクエストを送信した場合のスループットは約 380 tok/s、単独でのチャットおよびコード作成時は約 82 および 144 tok/s となり、品質評価は上流と同等です。

なぜ重要か 小規模チームが推論環境を構築する場合、単独での速度よりも複数人同時利用時のスループットがより重要になります。このフォークは主にこの点を改善しています。

スター数 25

理由

  • README に変更点と上流、SGLang との比較表が項目ごとに記載されている

使い方

  • 4 台の DGX Spark と RoCE 接続が必要で、README に従ってデプロイします

リスク

  • 性能数値は作者による自己測定です。エキスパート再ルーティングなどの高速化オプションは品質低下を伴い、デフォルトでは無効です
  • ハードウェア要件が高い

開く

GitHub

最新の AI ニュースを見る