原題:DNeo: Your Parallel Draft Model Needs Better Target Feature Encoding
推測拡散デコードでは、小さな並列ドラフトモデルが1回のフォワードパスで候補トークンのブロックを生成し、大きなモデルがそれを並列に検証します。著者は、DFlashやDSparkといった並列ドラフトモデルがターゲットモデルの特徴を読み取る方法には3つの欠点があると指摘しています。すなわち、エンコーディング投影がターゲットの特徴空間を破壊する(著者はこれを残差混合と呼ぶ)、以前に却下された提案を記憶していない、そして各層から均一に特徴を取得すると重要な隠れ状態を見逃してしまう、というものです。DNeoは、ワーキングメモリ付きの混合特徴アテンションMoFAを用いて却下された提案をメモリとしてエンコードし、さらに2タップ因果的畳み込み、プレフィックスのみに対するクロスアテンション、ターゲット層の不均一な選択を導入しています。著者によれば、生成速度は現在の最高性能を持つDFlash-2の1.3倍であり、ドラフトモデルのサイズと生成品質は変わらないとのことです。
なぜ重要か 推測デコードによる高速化は、ドラフトがどの程度受け入れられるかに依存します。著者によれば、生成速度は従来の最高性能を持つDFlash-2を上回り、ドラフトモデルのサイズと出力品質は変わらないとのことです。
いいね 3 · コードスター数 4
理由
- Qwen3-4B(思考モード)用のドラフト重み J-sandler/Qwen3-4B-DNeo が公開されました:5層の並列バックボーンを使用し、1回のフォワードパスで15個のトークンを起草します。特徴はターゲットモデルの7個の選択された層から取得されます。
- 著者はH100 80GB、バッチサイズ1の環境でテストしました。SGLangでは1回のフォワードパスあたり平均4.51個のトークンが受け入れられ、デコード速度は701トークン/秒で、逐語的自己回帰の2.96倍でした。Transformers環境では3.37倍でした。
- ドラフト重みはApache-2.0ライセンス、推論コードはMITライセンスです。
使い方
- コード:https://github.com/J-sandler/DNeo;权重:https://huggingface.co/J-sandler/Qwen3-4B-DNeo,必须和 Qwen/Qwen3-4B と組み合わせて使用します。ドラフトモデル自体は単独で生成を行うことはできません。
- このリリースでは、shared-routerランタイムのバージョン0.1.0rc6以上が必須です。重みリポジトリ内のdneo-inference-source.tar.gzをダウンロードし、同梱のINSTALL.mdに従ってTransformers版またはネイティブSGLang版をインストールしてください。旧式のfive-routerローダーでは読み込めません。
リスク
- 現時点では、Qwen3-4Bという1つのターゲットモデル用のドラフト重みしかありません。
- ベンチマークの条件は、プロンプトが最大256トークン、出力が固定で512トークン、コンテキスト上限が1024です。著者は結果が負荷によって変動すると述べています。長いコンテキストや大きなバッチサイズに関するデータはありません。本項目は実行されていません。
開く · コード · 抱きしめられた論文ページ