DSpine: Mô hình tăng tốc bản nháp song song do Tencent phát triển cho Qwen3.8-27B

Mô hình bản nháp DSpine năm lớp do Tencent huấn luyện cho Qwen3.8-27B, được sử dụng cho giải mã suy đoán (speculative decoding): tạo ra các token bản nháp một cách song song, mỗi lớp truyền các đặc trưng dự đoán từ trước đó sang các vị trí liền kề, dựa vào độ sâu của mạng để truyền tải các phụ thuộc nhân quả. Kích thước khối 16, cửa sổ trượt 8,192 token. Theo thử nghiệm chính thức trên SGLang, độ dài chấp nhận trung bình trên các tác vụ cao hơn so với DFlash2; trong các bản phát lại tác nhân (agent replay) của WorkBuddy cho mã hóa / web / văn phòng, SWE-bench Pro và τ²-bench, thông lượng đầu cuối gấp khoảng 2.7–3.8 lần so với giải mã tự hồi quy thông thường.

Tên gốc: tencent/Qwen3.8-27B-DSpine-b16

Mô hình bản nháp DSpine năm lớp do Tencent huấn luyện cho Qwen3.8-27B, được sử dụng cho giải mã suy đoán (speculative decoding): tạo ra các token bản nháp một cách song song, mỗi lớp truyền các đặc trưng dự đoán từ trước đó sang các vị trí liền kề, dựa vào độ sâu của mạng để truyền tải các phụ thuộc nhân quả. Kích thước khối 16, cửa sổ trượt 8,192 token. Theo thử nghiệm chính thức trên SGLang, độ dài chấp nhận trung bình trên các tác vụ cao hơn so với DFlash2; trong các bản phát lại tác nhân (agent replay) của WorkBuddy cho mã hóa / web / văn phòng, SWE-bench Pro và τ²-bench, thông lượng đầu cuối gấp khoảng 2.7–3.8 lần so với giải mã tự hồi quy thông thường.

Tại sao quan trọng Tăng thông lượng suy luận mà không cần thay đổi mô hình chính, phù hợp để triển khai Qwen3.8-27B bằng SGLang cho các tác vụ tác nhân và mã hóa

Điểm tăng 146 · Lượt thích 148 · Lượt tải xuống 1464

Lý do

  • Đã kiểm thử riêng độ dài chấp nhận và thông lượng trong các kịch bản hội thoại đa vòng của tác nhân, không chỉ giới hạn ở các bài toán toán học và mã hóa
  • Có kèm theo bài báo khoa học và mã nguồn GitHub, giấy phép Apache-2.0

Cách sử dụng

  • Sau khi cài đặt Tencent/DSpine, thêm --speculative-algorithm DSPINE vào lệnh sglang serve, chỉ định --speculative-draft-model-path trỏ đến mô hình này, các tham số còn lại tuân theo thẻ mô hình

Rủi ro

  • Chỉ tương thích với mô hình chính Qwen3.8-27B, phụ thuộc vào SGLang và cấu hình backend cụ thể, rào cản triển khai trên card đồ họa cá nhân khá cao
  • Dữ liệu tăng tốc được đo bởi đội ngũ chính thức trong các điều kiện đồng thời và cấu hình cụ thể
  • Mục này chưa được chạy thử nghiệm, hiệu quả thực tế cần dựa vào thẻ mô hình để xác nhận

Mở

Hugging Face Trending

Xem tin AI mới nhất