原题:tencent/Qwen3.8-27B-DSpine-b16
TencentがQwen3.8-27B向けに訓練した5層のDSpineドラフトモデルで、推測的デコーディングに使用されます。ドラフトトークンを並列に生成し、各層が予測した先行特徴を隣接する位置に伝達することで、ネットワークの深さを通じて因果的依存関係を伝えます。ブロックサイズは16、スライディングウィンドウは8,192トークンです。公式はSGLang上でテストを行い、DFlash2と比較して、各タスクにおける平均受容長がより高いことを確認しました。WorkBuddyのコード/ウェブ/オフィス、SWE-bench Pro、およびτ²-benchのエージェントリプレイにおいて、エンドツーエンドのスループットは通常の自己回帰デコーディングの約2.7〜3.8倍です。
なぜ重要か メインモデルを変更せずに推論スループットを向上させることができ、SGLangでQwen3.8-27Bをデプロイしてエージェントやコードタスクを実行する場合に適しています
上昇スコア 146 · いいね 148 · ダウンロード数 1464
理由
- 数学やコードの問題だけでなく、エージェントのマルチターン対話シナリオにおける受容長とスループットを専門的にテストしています
- 論文とGitHubコードが付属しており、ライセンスはApache-2.0です
使い方
- Tencent/DSpineをインストールした後、sglang serveコマンドに--speculative-algorithm DSPINEを追加し、--speculative-draft-model-pathを本モデルに指定します。その他のパラメータはモデルカードに従ってください
リスク
- Qwen3.8-27Bメインモデル専用であり、SGLangと特定のバックエンド設定に依存するため、個人用GPUでのデプロイには高いハードルがあります
- 加速データは公式が特定の並列度と設定下で測定したものです
- 本項目は実行されておらず、効果はモデルカードを基準としてください