Qwen3.8-27B 外部ドラフトモデル:NVIDIA による推測デコーディングの高速化

NVIDIA が 11 月 17 日に公開した、Model Optimizer を用いて訓練された外部ドラフトモデル(パラメータ数 4.21B、Qwen3.5-4B ベース、ターゲットモデルとトークナイザーおよび語彙表を共有)。サービング時には、ターゲットモデルのサンプリング設定に従って候補トークンのセットを一度に提案し、Qwen3.8-27B が拒絶サンプリングで検証します。最終的な出力分布はターゲットモデルが単独で生成した場合と同一であり、デコーディング遅延のみを低減します。訓練には Nemotron-Post-Training-Dataset-v2 の 199,998 件の単一ターンプロンプトを使用し、回答は Qwen3.8-27B によって生成され、各位置における上位 20 トークンの確率分布が訓練シグナルとして記録されました。

原題:nvidia/Qwen3.5-4B-Qwen3.8-27B-Draft

NVIDIA が 11 月 17 日に公開した、Model Optimizer を用いて訓練された外部ドラフトモデル(パラメータ数 4.21B、Qwen3.5-4B ベース、ターゲットモデルとトークナイザーおよび語彙表を共有)。サービング時には、ターゲットモデルのサンプリング設定に従って候補トークンのセットを一度に提案し、Qwen3.8-27B が拒絶サンプリングで検証します。最終的な出力分布はターゲットモデルが単独で生成した場合と同一であり、デコーディング遅延のみを低減します。訓練には Nemotron-Post-Training-Dataset-v2 の 199,998 件の単一ターンプロンプトを使用し、回答は Qwen3.8-27B によって生成され、各位置における上位 20 トークンの確率分布が訓練シグナルとして記録されました。

なぜ重要か 出力分布は元のモデルと完全に一致し、デコーディング遅延のみを低減。公式によれば、検証ごとに平均して受け入れられるトークン数が、モデルに内蔵されたマルチトークン予測ヘッドよりも顕著に多い

上昇スコア 63 · いいね 67 · ダウンロード数 290

理由

  • SPEED-Bench 定性サブセット、ドラフトブロック 16:平均受け入れ長は 5.58 で、Qwen3.8-27B 内蔵の MTP ヘッドは 3.81。32K の長文コンテキストサブセットでは 5.11 対 3.86
  • 同シリーズには、より小さいドラフトモデルとして Qwen3.5-0.8B(3.92 / 3.60)と Llama-3.2-1B(3.42 / 3.07)もあり、同じデータと評価基準で比較されている
  • カテゴリ別に見ると、RAG、多言語、要約の受け入れ長が最も高く(6.58、6.55、6.19)、ロールプレイとライティングが最も低い(4.41、4.59)

使い方

  • デプロイ時に Qwen3.8-27B の外部ドラフトモデルとして接続:カードには vLLM が対応エンジンとして記載されており、SGLang や TRT-LLM でも読み込み可能とされている。入力には Qwen3.8-27B のトークナイザーを使用する必要がある
  • ドラフトは温度 1.0、top-k 20、top-p 0.95 でサンプリングされ、ターゲットモデルのサービング設定と一致させる。訓練時のシーケンス長は 12,288 トークン

リスク

  • カードには起動コマンドや実際の高速化倍率が記載されておらず、受け入れ長のみが提示されている。公式は主に NVIDIA Groq 3 LPU デプロイを想定しており、記載されている GPU アーキテクチャは Blackwell のみ
  • ドラフトモデル自体が 4.21B パラメータを持ち、27B のターゲットモデルとともに VRAM を消費するが、追加の VRAM 要件はカードに記載されていない
  • ライセンスは NVIDIA Open Model License(商用利用可)であり、Apache ライセンスではない。本項目は未実行

開く

Hugging Face Trending

最新の AI ニュースを見る