pico-dgx-ds4 是 blaesus/dsgx10 的分支,让多个人共用一套 4 台 DGX Spark(TP4,200G RoCE 交换机)上的 DeepSeek V4.1 Flash 1017。作者称把上下文从 256K 扩到 1M,加入图片输入,设 16 个请求槽(4 个 1M、12 个 128K),16 人各发不同请求时吞吐约 380 tok/s,单人聊天和写代码约 82 和 144 tok/s,质量评测与上游持平。
为什么重要 小团队自建推理时,多人并发吞吐比单人速度更关键,这个分支主要改的就是这一点。
星数 25
理由
- README 逐项列出改动和与上游、SGLang 的对比表
用法
- 需要 4 台 DGX Spark 和 RoCE 互联,按 README 部署
风险
- 性能数字是作者自测;专家重路由等提速选项有损,默认关闭
- 硬件门槛高