원제: Accelerating Mixture of Block Attention via Dynamic Routing, KV-Centric Execution and Runtime Pipelining
텐센트 팀이 블록 어텐션 혼합(MoBA)의 추론 구현을 개선했습니다. 라우팅은 더 이상 각 쿼리에 대해 고정된 Top-K 키-값 블록을 할당하지 않고, 블록 점수에 따라 임계값을 설정하여 가변적인 수량을 선택합니다. 실행 시에는 (쿼리 헤드, 키-값 블록) 단위로 그룹화하며, 로드된 키-값 블록은 이를 선택한 모든 쿼리에서 재사용되고, 팬아웃이 너무 큰 블록은 작은 작업으로 분할됩니다. Hopper GPU에서는 데이터 이동과 텐서 코어 계산을 오버랩합니다. 논문에서는 동일한 보존 예산 하에 5개의 체크포인트에서 엔드투엔드 생성 속도가 1.20배에서 1.60배까지 향상되었으며, RULER 평균 점수가 74.42에서 75.28으로 상승했다고 보고했습니다.
왜 중요한가 각 쿼리가 가져올 블록 수를 고정하는 방식은 비효율적이고 정확하지도 않습니다. 이 방법은 임계값 기반 선택과 동일한 블록의 단일 로드를 통해 속도를 높이는 동시에 긴 텍스트 평가 점수를 약간 향상시킵니다.
좋아요 12 · 코드 스타 수 6
이유
- README의 모델별 결과: Qwen3-4B는 1.53배, Qwen3-235B-A22B는 1.60배, Llama-3.1-8B는 1.42배 가속되었습니다. GQA-30B-A3B(내부 체크포인트)와 Qwen3-32B-YaRN4의 RULER 점수는 약간 하락했습니다.
- 전체 어텐션 디바이스 경로는 Top-32에서 2.16–2.56배 빠르며, 라우팅 및 희소 인덱스 구축은 Top-64에서 6.99–11.25배 빠릅니다(커널 단위 테스트이며 엔드투엔드가 아님).
- 또한 표준 Top-K 희소 어텐션과 더 세분화된 Block-8 인터페이스를 제공하며, BSD-3-Clause 라이선스를 따릅니다.
사용법
- 코드: https://github.com/Tencent/LightningMoBA
- 소스 컴파일: CUDA 버전의 PyTorch, nvcc 및 C++17 컴파일러를 설치한 후 pip install setuptools wheel ninja packaging psutil을 실행하고, MAX_JOBS=2 pip install --no-build-isolation -e '.[test]'를 수행합니다. Python에서 import lightning_moba를 사용합니다.
- lightning_moba_topk_varlen_func(고정 Top-K), 동적 임계값 라우팅 인터페이스 또는 lightning_moba_block8_func를 호출합니다. tests/ 및 benchmarks/ 폴더에 테스트 및 벤치마크 스크립트가 있습니다.
리스크
- 기본 파이프라인은 SM90(H100 / H800 등 Hopper) GPU와 CUDA 12.3+만 지원하며, 입력은 BF16이어야 하고 헤드 차원은 128이어야 합니다. 소비자용 GPU에서는 기본 경로를 사용할 수 없습니다.
- 어텐션 커널 라이브러리이므로 MoBA를 지원하는 모델에 통합해야 유용하며, 즉시 사용 가능한 추론 프레임워크가 아닙니다. 가속 수치는 저자의 8 카드 텐서 병렬 테스트에서 나왔습니다. 본 항목은 실행되지 않았습니다.