原題:Accelerating Mixture of Block Attention via Dynamic Routing, KV-Centric Execution and Runtime Pipelining
Tencentチームはブロックアテンション混合(MoBA)の推論実装を改善しました。ルーティングでは、各クエリに対して固定数のTop-Kキー・バリューブロックを選択するのではなく、ブロックスコアに基づく閾値を用いて可変数のブロックを選択します。実行時には(クエリヘッド、キー・バリューブロック)の単位でグループ化し、読み込まれたキー・バリューブロックはそれを選択したすべてのクエリで再利用されます。ファンアウトが大きいブロックは小さなタスクに分割されます。Hopper GPUでは、データ転送とテンソルコア計算をオーバーラップさせます。論文によると、同じ保持予算下で、5つのチェックポイントにおいてエンドツーエンドの生成速度が1.20倍から1.60倍に向上し、RULER平均スコアが74.42から75.28に上昇したとされています。
なぜ重要か 各クエリが取得するブロック数を固定することは、無駄があり精度も低い。この手法では閾値に基づく選択を行い、同一ブロックを一度だけ読み込むことで、高速化を実現しつつ、長文テキストの評価スコアもわずかに向上させています。
いいね 12 · コードスター数 6
理由
- READMEのモデル別結果:Qwen3-4Bで1.53倍、Qwen3-235B-A22Bで1.60倍、Llama-3.1-8Bで1.42倍の高速化。GQA-30B-A3B(内部チェックポイント)とQwen3-32B-YaRN4ではRULERスコアがわずかに低下
- 完全アテンションデバイスパスではTop-32で2.16~2.56倍、ルーティングとスパースインデックス構築を含めた場合ではTop-64で6.99~11.25倍の高速化(カーネル単体テストであり、エンドツーエンドではない)
- 標準的なTop-Kスパースアテンションおよびより細粒度のBlock-8インターフェースも提供。BSD-3-Clauseライセンス
使い方
- コード:https://github.com/Tencent/LightningMoBA
- ソースコードからのコンパイル:CUDA版PyTorch、nvcc、C++17コンパイラをインストール後、
pip install setuptools wheel ninja packaging psutilを実行し、続いてMAX_JOBS=2 pip install --no-build-isolation -e '.[test]'を実行します。Pythonではimport lightning_mobaを実行します lightning_moba_topk_varlen_func(固定Top-K)、動的閾値ルーティングインターフェース、またはlightning_moba_block8_funcを呼び出します。tests/およびbenchmarks/ディレクトリにテストスクリプトとベンチマークスクリプトが含まれています
リスク
- デフォルトのパイプラインはSM90(H100 / H800などのHopper)GPUとCUDA 12.3+のみをサポートし、入力はBF16、ヘッド次元は128である必要があります。コンシューマー向けGPUではデフォルトパスを使用できません
- これはアテンションカーネルライブラリであり、MoBAをサポートするモデルに統合して初めて有用になります。すぐに使える推論フレームワークではありません。高速化の数値は、著者による8カードのテンソル並列テストに基づいています。本項目では実行されていません