Picom-code/pico-dgx-ds4

pico-dgx-ds4 là một nhánh của blaesus/dsgx10, cho phép nhiều người dùng chung một cụm gồm 4 máy DGX Spark (TP4, bộ chuyển mạch RoCE 200G) chạy DeepSeek V4.1 Flash 1017. Tác giả cho biết đã mở rộng ngữ cảnh từ 256K lên 1M, bổ sung đầu vào hình ảnh, thiết lập 16 khe yêu cầu (4 khe 1M, 12 khe 128K), với thông lượng khoảng 380 tok/s khi 16 người gửi các yêu cầu khác nhau, khoảng 82 và 144 tok/s cho trò chuyện và viết mã đơn lẻ, và chất lượng đánh giá ngang bằng với bản gốc.

pico-dgx-ds4 là một nhánh của blaesus/dsgx10, cho phép nhiều người dùng chung một cụm gồm 4 máy DGX Spark (TP4, bộ chuyển mạch RoCE 200G) chạy DeepSeek V4.1 Flash 1017. Tác giả cho biết đã mở rộng ngữ cảnh từ 256K lên 1M, bổ sung đầu vào hình ảnh, thiết lập 16 khe yêu cầu (4 khe 1M, 12 khe 128K), với thông lượng khoảng 380 tok/s khi 16 người gửi các yêu cầu khác nhau, khoảng 82 và 144 tok/s cho trò chuyện và viết mã đơn lẻ, và chất lượng đánh giá ngang bằng với bản gốc.

Tại sao quan trọng Khi các nhóm nhỏ tự xây dựng hệ thống suy luận, thông lượng đồng thời của nhiều người dùng quan trọng hơn tốc độ của một người dùng đơn lẻ, và nhánh này chủ yếu tập trung cải thiện điểm đó.

Số sao 25

Lý do

  • README liệt kê chi tiết các thay đổi và bảng so sánh với upstream, SGLang

Cách sử dụng

  • Cần 4 máy DGX Spark và kết nối RoCE, triển khai theo README

Rủi ro

  • Các con số hiệu năng do tác giả tự kiểm tra; các tùy chọn tăng tốc như định tuyến lại chuyên gia có thể gây suy giảm chất lượng, mặc định tắt
  • Yêu cầu phần cứng cao

Mở

GitHub

Xem tin AI mới nhất