DSpine:Qwen3.8-27B向けにTencentが開発した並列ドラフト加速モデル

TencentがQwen3.8-27B向けに訓練した5層のDSpineドラフトモデルで、推測的デコーディングに使用されます。ドラフトトークンを並列に生成し、各層が予測した先行特徴を隣接する位置に伝達することで、ネットワークの深さを通じて因果的依存関係を伝えます。ブロックサイズは16、スライディングウィンドウは8,192トークンです。公式はSGLang上でテストを行い、DFlash2と比較して、各タスクにおける平均受容長がより高いことを確認しました。WorkBuddyのコード/ウェブ/オフィス、SWE-bench Pro、およびτ²-benchのエージェントリプレイにおいて、エンドツーエンドのスループットは通常の自己回帰デコーディングの約2.7〜3.8倍です。

原题:tencent/Qwen3.8-27B-DSpine-b16

TencentがQwen3.8-27B向けに訓練した5層のDSpineドラフトモデルで、推測的デコーディングに使用されます。ドラフトトークンを並列に生成し、各層が予測した先行特徴を隣接する位置に伝達することで、ネットワークの深さを通じて因果的依存関係を伝えます。ブロックサイズは16、スライディングウィンドウは8,192トークンです。公式はSGLang上でテストを行い、DFlash2と比較して、各タスクにおける平均受容長がより高いことを確認しました。WorkBuddyのコード/ウェブ/オフィス、SWE-bench Pro、およびτ²-benchのエージェントリプレイにおいて、エンドツーエンドのスループットは通常の自己回帰デコーディングの約2.7〜3.8倍です。

なぜ重要か メインモデルを変更せずに推論スループットを向上させることができ、SGLangでQwen3.8-27Bをデプロイしてエージェントやコードタスクを実行する場合に適しています

上昇スコア 146 · いいね 148 · ダウンロード数 1464

理由

  • 数学やコードの問題だけでなく、エージェントのマルチターン対話シナリオにおける受容長とスループットを専門的にテストしています
  • 論文とGitHubコードが付属しており、ライセンスはApache-2.0です

使い方

  • Tencent/DSpineをインストールした後、sglang serveコマンドに--speculative-algorithm DSPINEを追加し、--speculative-draft-model-pathを本モデルに指定します。その他のパラメータはモデルカードに従ってください

リスク

  • Qwen3.8-27Bメインモデル専用であり、SGLangと特定のバックエンド設定に依存するため、個人用GPUでのデプロイには高いハードルがあります
  • 加速データは公式が特定の並列度と設定下で測定したものです
  • 本項目は実行されておらず、効果はモデルカードを基準としてください

開く

Hugging Face Trending

最新の AI ニュースを見る