LightningMoBA:给块稀疏注意力的长上下文推理提速

腾讯团队改进块注意力混合(MoBA)的推理实现:路由不再给每个查询固定 Top-K 个键值块,而是按块分数设阈值、数量可变;执行时按(查询头, 键值块)分组,读进来的键值块供所有选中它的查询复用,扇出太大的块再拆成小任务;在 Hopper 显卡上把数据搬运和张量核计算重叠。论文称在相同保留预算下,五个检查点的端到端生成加速 1.20 到 1.60 倍,RULER 平均分从 74.42 升到 75.28。

原题:Accelerating Mixture of Block Attention via Dynamic Routing, KV-Centric Execution and Runtime Pipelining

腾讯团队改进块注意力混合(MoBA)的推理实现:路由不再给每个查询固定 Top-K 个键值块,而是按块分数设阈值、数量可变;执行时按(查询头, 键值块)分组,读进来的键值块供所有选中它的查询复用,扇出太大的块再拆成小任务;在 Hopper 显卡上把数据搬运和张量核计算重叠。论文称在相同保留预算下,五个检查点的端到端生成加速 1.20 到 1.60 倍,RULER 平均分从 74.42 升到 75.28。

为什么重要 固定每个查询取多少块既浪费又不准;它改成按阈值选、同一块只读一次,提速的同时长文本评测分还略升

点赞 12 · 代码星数 6

理由

  • README 分模型结果:Qwen3-4B 加速 1.53 倍、Qwen3-235B-A22B 1.60 倍、Llama-3.1-8B 1.42 倍;GQA-30B-A3B(内部检查点)和 Qwen3-32B-YaRN4 的 RULER 分略降
  • 完整注意力设备路径在 Top-32 下快 2.16–2.56 倍,路由加稀疏索引构建在 Top-64 下快 6.99–11.25 倍(内核单测,不是端到端)
  • 还提供标准 Top-K 稀疏注意力和更细的 Block-8 接口;BSD-3-Clause 许可

用法

  • 代码:https://github.com/Tencent/LightningMoBA
  • 从源码编译:装好 CUDA 版 PyTorch、nvcc 和 C++17 编译器后 pip install setuptools wheel ninja packaging psutil,再 MAX_JOBS=2 pip install --no-build-isolation -e '.[test]';Python 中 import lightning_moba
  • 调用 lightning_moba_topk_varlen_func(固定 Top-K)、动态阈值路由接口或 lightning_moba_block8_func;tests/ 和 benchmarks/ 有测试与基准脚本

风险

  • 默认流水线只支持 SM90(H100 / H800 这类 Hopper)显卡、CUDA 12.3+,输入须为 BF16、头维度 128;消费级显卡用不了默认路径
  • 是注意力内核库,要接进支持 MoBA 的模型才有用,不是开箱即用的推理框架;加速数字来自作者 8 卡张量并行测试。本条未运行

打开 · 代码 · 抱脸论文页

Hugging Face Daily Papers

浏览最新 AI 动态