Titre original : Accelerating Mixture of Block Attention via Dynamic Routing, KV-Centric Execution and Runtime Pipelining
L'équipe de Tencent améliore l'implémentation de l'inférence de l'attention à blocs mixte (MoBA) : le routage n'attribue plus un nombre fixe de Top-K blocs de clés-valeurs à chaque requête, mais définit un seuil basé sur le score des blocs, avec un nombre variable ; lors de l'exécution, le regroupement se fait par (tête de requête, bloc de clés-valeurs), les blocs de clés-valeurs chargés étant réutilisés par toutes les requêtes qui les sélectionnent, et les blocs ayant un trop grand fan-out étant divisés en petites tâches ; sur les cartes graphiques Hopper, les transferts de données sont superposés aux calculs des cœurs tensoriels. Le papier indique qu'à budget de rétention égal, l'accélération de la génération de bout en bout sur cinq points de contrôle va de 1.20 à 1.60 fois, et que le score moyen RULER passe de 74.42 à 75.28.
Pourquoi c'est important Fixer le nombre de blocs par requête est à la fois gaspilleur et imprécis ; cette approche passe à une sélection par seuil, avec chaque bloc lu une seule fois, ce qui accélère le traitement tout en augmentant légèrement les scores sur les évaluations de textes longs
J'aime 12 · Étoiles du code 6
Raisons
- Résultats par modèle dans le README : accélération de 1.53 fois pour Qwen3-4B, 1.60 fois pour Qwen3-235B-A22B, et 1.42 fois pour Llama-3.1-8B ; les scores RULER diminuent légèrement pour GQA-30B-A3B (point de contrôle interne) et Qwen3-32B-YaRN4
- Le chemin d'attention complète sur appareil est plus rapide de 2.16–2.56 fois sous Top-32, et le routage avec construction d'index épars est plus rapide de 6.99–11.25 fois sous Top-64 (tests unitaires des noyaux, pas de bout en bout)
- Fournit également une attention épars Top-K standard et une interface Block-8 plus fine ; licence BSD-3-Clause
Utilisation
- Code : https://github.com/Tencent/LightningMoBA
- Compilation depuis les sources : après avoir installé PyTorch avec CUDA, nvcc et un compilateur C++17, exécutez pip install setuptools wheel ninja packaging psutil, puis MAX_JOBS=2 pip install --no-build-isolation -e '.[test]' ; dans Python, importez lightning_moba
- Appelez lightning_moba_topk_varlen_func (Top-K fixe), l'interface de routage à seuil dynamique ou lightning_moba_block8_func ; les dossiers tests/ et benchmarks/ contiennent des scripts de test et de référence
Risques
- Le pipeline par défaut ne prend en charge que les cartes graphiques SM90 (type H100 / H800 Hopper), CUDA 12.3+, et exige des entrées en BF16 avec une dimension de tête de 128 ; le chemin par défaut n'est pas utilisable sur les cartes graphiques grand public
- Il s'agit d'une bibliothèque de noyaux d'attention, qui n'est utile que si elle est intégrée à des modèles prenant en charge MoBA, ce n'est pas un framework d'inférence prêt à l'emploi ; les chiffres d'accélération proviennent des tests de parallélisme tensoriel sur 8 cartes de l'auteur. Cette entrée n'a pas été exécutée
Ouvrir · Code · Page du papier