MMFlash:視覚言語モデルの投機デコーディングを高速化

投機デコーディングでは、軽量なドラフトモデルがまず一連のトークンを提案し、ターゲットモデルが並列で検証します。DFlashのような拡散型ドラフトモデルは、1回のフォワードパスでブロック全体のトークンを提案できますが、主にテキスト専用です。著者らは「画像あり/なし時の次トークン分布のKLダイバージェンス」を用いて、各トークンが画像に依存する度合いを測定しました。その結果、依存度が最も低い四分の一のトークンの受容率は 46% であるのに対し、最も高い四分の一ではわずか 22% にとどまり、マルチモーダル学習後もこの差は残りました。MMFlashは、学習時にこうしたトークンの重みを増大させ、長い動画入力に対してはスパースアテンションを用いて冗長な計算を削減します。論文によれば、複数のマルチモーダルベンチマークにおいて、品質を損なわずに最大 3.58 倍の高速化を達成し、EAGLE-3 および DFlash に対してそれぞれ最大 195.4% 倍および 17.1% 倍の性能向上を示しました。

原題:MMFlash: Faster Speculative Decoding for Vision-Language Models

投機デコーディングでは、軽量なドラフトモデルがまず一連のトークンを提案し、ターゲットモデルが並列で検証します。DFlashのような拡散型ドラフトモデルは、1回のフォワードパスでブロック全体のトークンを提案できますが、主にテキスト専用です。著者らは「画像あり/なし時の次トークン分布のKLダイバージェンス」を用いて、各トークンが画像に依存する度合いを測定しました。その結果、依存度が最も低い四分の一のトークンの受容率は 46% であるのに対し、最も高い四分の一ではわずか 22% にとどまり、マルチモーダル学習後もこの差は残りました。MMFlashは、学習時にこうしたトークンの重みを増大させ、長い動画入力に対してはスパースアテンションを用いて冗長な計算を削減します。論文によれば、複数のマルチモーダルベンチマークにおいて、品質を損なわずに最大 3.58 倍の高速化を達成し、EAGLE-3 および DFlash に対してそれぞれ最大 195.4% 倍および 17.1% 倍の性能向上を示しました。

なぜ重要か 画像質問応答や動画理解のデコーディングが高速化され、出力品質は変わらない。ドラフトモデルの重みは公開済みで、標準のSGLangおよびvLLMで直接読み込める。

いいね 35 · コードのスター数 22

理由

  • ドラフトモデルは画像や動画を再エンコードせず、ターゲットモデルで既に視覚情報が融合された隠れ状態を直接読み取るため、視覚トークン数が増加してもオーバーヘッドは増えない
  • Qwen3.5-4B、Qwen3.5-9B、Qwen3.8-27B、および Gemma 4 E4B-it の4つのターゲットモデルに対するドラフトモデルの重みが公開されており、各モデルカードにはデプロイコマンドとベンチマーク別の成績が記載されている
  • リポジトリには、データの再生成、視覚依存度スコアリング、学習、エクスポート、評価の全ワークフローが含まれており、同じ設定でDFlashベースラインを学習して比較することも可能

使い方

  • コード:https://github.com/fscdc/MMFlash(MIT);草稿权重在抱脸 FSCCS アカウントの MMFlash コレクション
  • デプロイにはこのリポジトリは不要:標準のSGLangまたはvLLMでターゲットモデル(例:Qwen/Qwen3.5-4B)を起動し、投機アルゴリズムとしてDFLASHを選択、ドラフトモデルとしてFSCCS/Qwen3.5-4B-MMFlashを指定し、OpenAI互換インターフェース経由で画像付きのリクエストを送信する

リスク

  • ドラフトモデルは単独では使用できず、対応するターゲットモデルとペアで使用する必要がある。現時点では4つのターゲットモデルのみをサポート
  • READMEに記載されている高速化データは、単一のH200、バッチサイズ 1、貪欲デコーディング条件下で測定されたものであり、論文の要約の基準とは完全に一致しない。学習にはパッチを適用したSGLangとMooncakeが必要
  • 成績は著者による報告であり、本記事では検証を行っていない

開く · コード · 論文ページ

Hugging Face Daily Papers

最新の AI ニュースを見る