LightningMoBA:ブロックスパースアテンションによる長文脈推論の高速化

Tencentチームはブロックアテンション混合(MoBA)の推論実装を改善しました。ルーティングでは、各クエリに対して固定数のTop-Kキー・バリューブロックを選択するのではなく、ブロックスコアに基づく閾値を用いて可変数のブロックを選択します。実行時には(クエリヘッド、キー・バリューブロック)の単位でグループ化し、読み込まれたキー・バリューブロックはそれを選択したすべてのクエリで再利用されます。ファンアウトが大きいブロックは小さなタスクに分割されます。Hopper GPUでは、データ転送とテンソルコア計算をオーバーラップさせます。論文によると、同じ保持予算下で、5つのチェックポイントにおいてエンドツーエンドの生成速度が1.20倍から1.60倍に向上し、RULER平均スコアが74.42から75.28に上昇したとされています。

原題:Accelerating Mixture of Block Attention via Dynamic Routing, KV-Centric Execution and Runtime Pipelining

Tencentチームはブロックアテンション混合(MoBA)の推論実装を改善しました。ルーティングでは、各クエリに対して固定数のTop-Kキー・バリューブロックを選択するのではなく、ブロックスコアに基づく閾値を用いて可変数のブロックを選択します。実行時には(クエリヘッド、キー・バリューブロック)の単位でグループ化し、読み込まれたキー・バリューブロックはそれを選択したすべてのクエリで再利用されます。ファンアウトが大きいブロックは小さなタスクに分割されます。Hopper GPUでは、データ転送とテンソルコア計算をオーバーラップさせます。論文によると、同じ保持予算下で、5つのチェックポイントにおいてエンドツーエンドの生成速度が1.20倍から1.60倍に向上し、RULER平均スコアが74.42から75.28に上昇したとされています。

なぜ重要か 各クエリが取得するブロック数を固定することは、無駄があり精度も低い。この手法では閾値に基づく選択を行い、同一ブロックを一度だけ読み込むことで、高速化を実現しつつ、長文テキストの評価スコアもわずかに向上させています。

いいね 12 · コードスター数 6

理由

  • READMEのモデル別結果:Qwen3-4Bで1.53倍、Qwen3-235B-A22Bで1.60倍、Llama-3.1-8Bで1.42倍の高速化。GQA-30B-A3B(内部チェックポイント)とQwen3-32B-YaRN4ではRULERスコアがわずかに低下
  • 完全アテンションデバイスパスではTop-32で2.16~2.56倍、ルーティングとスパースインデックス構築を含めた場合ではTop-64で6.99~11.25倍の高速化(カーネル単体テストであり、エンドツーエンドではない)
  • 標準的なTop-Kスパースアテンションおよびより細粒度のBlock-8インターフェースも提供。BSD-3-Clauseライセンス

使い方

  • コード:https://github.com/Tencent/LightningMoBA
  • ソースコードからのコンパイル:CUDA版PyTorch、nvcc、C++17コンパイラをインストール後、pip install setuptools wheel ninja packaging psutilを実行し、続いてMAX_JOBS=2 pip install --no-build-isolation -e '.[test]'を実行します。Pythonではimport lightning_mobaを実行します
  • lightning_moba_topk_varlen_func(固定Top-K)、動的閾値ルーティングインターフェース、またはlightning_moba_block8_funcを呼び出します。tests/およびbenchmarks/ディレクトリにテストスクリプトとベンチマークスクリプトが含まれています

リスク

  • デフォルトのパイプラインはSM90(H100 / H800などのHopper)GPUとCUDA 12.3+のみをサポートし、入力はBF16、ヘッド次元は128である必要があります。コンシューマー向けGPUではデフォルトパスを使用できません
  • これはアテンションカーネルライブラリであり、MoBAをサポートするモデルに統合して初めて有用になります。すぐに使える推論フレームワークではありません。高速化の数値は、著者による8カードのテンソル並列テストに基づいています。本項目では実行されていません

開く · コード · 論文ページ

Hugging Face Daily Papers

最新の AI ニュースを見る