pico-dgx-ds4 は blaesus/dsgx10 のフォークで、複数のユーザーが 4 台の DGX Spark(TP4、200G RoCE スイッチ)上で DeepSeek V4.1 Flash 1017 を共有できるようにします。作者によれば、コンテキストウィンドウを 256K から 1M に拡張し、画像入力を追加し、16 個のリクエストスロット(4 個の 1M、12 個の 128K)を設定しました。16 人がそれぞれ異なるリクエストを送信した場合のスループットは約 380 tok/s、単独でのチャットおよびコード作成時は約 82 および 144 tok/s となり、品質評価は上流と同等です。
なぜ重要か 小規模チームが推論環境を構築する場合、単独での速度よりも複数人同時利用時のスループットがより重要になります。このフォークは主にこの点を改善しています。
スター数 25
理由
- README に変更点と上流、SGLang との比較表が項目ごとに記載されている
使い方
- 4 台の DGX Spark と RoCE 接続が必要で、README に従ってデプロイします
リスク
- 性能数値は作者による自己測定です。エキスパート再ルーティングなどの高速化オプションは品質低下を伴い、デフォルトでは無効です
- ハードウェア要件が高い