원제: tencent/Qwen3.8-27B-DSpine-b16
Tencent가 Qwen3.8-27B를 위해 학습한 5계층 DSpine 초안 모델로, 추측 디코딩에 사용됩니다. 병렬로 초안 토큰을 생성하며, 각 계층은 예측된 이전 특성을 인접 위치로 전달하여 네트워크 깊이를 통해 인과적 의존성을 전파합니다. 블록 크기는 16이고, 슬라이딩 윈도우는 8,192 토큰입니다. 공식적으로 SGLang에서 테스트한 결과, DFlash2와 비교했을 때 각 작업의 평균 허용 길이가 더 높았습니다. WorkBuddy 코드/웹/오피스, SWE-bench Pro 및 τ²-bench의 에이전트 리플레이에서 엔드투엔드 처리량은 일반 자기회귀 디코딩의 약 2.7–3.8배였습니다.
왜 중요한가 주 모델을 교체하지 않고도 추론 처리량을 높일 수 있으며, SGLang을 사용하여 Qwen3.8-27B를 배포하고 에이전트 및 코드 작업을 실행하는 데 적합합니다
상승 점수 146 · 좋아요 148 · 다운로드 수 1464
이유
- 수학 및 코드 문제뿐만 아니라 에이전트 다중 턴 대화 시나리오의 허용 길이와 처리량을 특별히 테스트했습니다
- 논문과 GitHub 코드가 포함되어 있으며, 라이선스는 Apache-2.0입니다
사용법
- Tencent/DSpine을 설치한 후, sglang serve에 --speculative-algorithm DSPINE을 추가하고, --speculative-draft-model-path를 이 모델로 지정하며, 나머지 매개변수는 모델 카드를 따릅니다
리스크
- Qwen3.8-27B 주 모델과만 호환되며, SGLang 및 특정 백엔드 구성에 의존하므로 개인 GPU 환경에서의 배포 난이도가 높습니다
- 가속 데이터는 공식적으로 특정 동시성 및 구성 조건에서 측정된 것입니다
- 이 항목은 실행되지 않았으므로, 효과는 모델 카드를 기준으로 합니다