Picom-code/pico-dgx-ds4

pico-dgx-ds4는 blaesus/dsgx10의 포크로, 여러 사용자가 4대의 DGX Spark(TP4, 200G RoCE 스위치)에서 실행되는 DeepSeek V4.1 Flash 1017를 공유할 수 있게 합니다. 저자는 컨텍스트를 256K에서 1M으로 확장하고 이미지 입력을 추가했으며, 16개의 요청 슬롯(4개의 1M, 12개의 128K)을 설정했다고 설명합니다. 16명이 서로 다른 요청을 보낼 때 처리량은 약 380 tok/s이며, 1인 채팅과 코딩은 각각 약 82 및 144 tok/s이고, 품질 평가는 상류(upstream)와 동등한 수준입니다.

pico-dgx-ds4는 blaesus/dsgx10의 포크로, 여러 사용자가 4대의 DGX Spark(TP4, 200G RoCE 스위치)에서 실행되는 DeepSeek V4.1 Flash 1017를 공유할 수 있게 합니다. 저자는 컨텍스트를 256K에서 1M으로 확장하고 이미지 입력을 추가했으며, 16개의 요청 슬롯(4개의 1M, 12개의 128K)을 설정했다고 설명합니다. 16명이 서로 다른 요청을 보낼 때 처리량은 약 380 tok/s이며, 1인 채팅과 코딩은 각각 약 82 및 144 tok/s이고, 품질 평가는 상류(upstream)와 동등한 수준입니다.

왜 중요한가 소규모 팀이 자체 추론 환경을 구축할 때는 1인 속도보다 다중 사용자 동시 처리량이 더 중요합니다. 이 포크는 주로 이 부분을 개선하는 데 초점을 맞췄습니다.

스타 수 25

이유

  • README에서 변경 사항과 상류(upstream), SGLang과의 비교표를 항목별로 나열함

사용법

  • 4대의 DGX Spark와 RoCE 상호 연결이 필요하며, README에 따라 배포

리스크

  • 성능 수치는 저자가 자체적으로 측정한 것임. 전문가 재라우팅(expert rerouting) 등 속도 향상 옵션은 품질 저하를 유발하므로 기본값으로 비활성화됨
  • 하드웨어 진입 장벽이 높음

열기

GitHub

최신 AI 소식 보기