Picom-code/pico-dgx-ds4

pico-dgx-ds4 是 blaesus/dsgx10 的分支,让多个人共用一套 4 台 DGX Spark(TP4,200G RoCE 交换机)上的 DeepSeek V4.1 Flash 1017。作者称把上下文从 256K 扩到 1M,加入图片输入,设 16 个请求槽(4 个 1M、12 个 128K),16 人各发不同请求时吞吐约 380 tok/s,单人聊天和写代码约 82 和 144 tok/s,质量评测与上游持平。

pico-dgx-ds4 是 blaesus/dsgx10 的分支,让多个人共用一套 4 台 DGX Spark(TP4,200G RoCE 交换机)上的 DeepSeek V4.1 Flash 1017。作者称把上下文从 256K 扩到 1M,加入图片输入,设 16 个请求槽(4 个 1M、12 个 128K),16 人各发不同请求时吞吐约 380 tok/s,单人聊天和写代码约 82 和 144 tok/s,质量评测与上游持平。

为什么重要 小团队自建推理时,多人并发吞吐比单人速度更关键,这个分支主要改的就是这一点。

星数 25

理由

  • README 逐项列出改动和与上游、SGLang 的对比表

用法

  • 需要 4 台 DGX Spark 和 RoCE 互联,按 README 部署

风险

  • 性能数字是作者自测;专家重路由等提速选项有损,默认关闭
  • 硬件门槛高

打开

GitHub

浏览最新 AI 动态