Tựa đề gốc: Accelerating Mixture of Block Attention via Dynamic Routing, KV-Centric Execution and Runtime Pipelining
Đội ngũ Tencent cải tiến triển khai suy luận của cơ chế chú ý hỗn hợp dạng khối (MoBA): bộ định tuyến không còn gán cố định Top-K khối khóa-giá trị cho mỗi truy vấn, mà đặt ngưỡng dựa trên điểm số của khối, cho phép số lượng khối biến đổi; khi thực thi, các nhóm được hình thành theo (đầu truy vấn, khối khóa-giá trị), các khối khóa-giá trị được nạp vào sẽ được tái sử dụng bởi tất cả các truy vấn chọn chúng, và các khối có độ rộng quá lớn sẽ được chia thành các tác vụ nhỏ hơn; trên các card đồ họa Hopper, việc truyền dữ liệu và tính toán trên lõi tensor được chồng lấn. Bài báo cáo cáo rằng với cùng ngân sách giữ lại, tốc độ sinh văn bản đầu-cuối trên năm điểm kiểm tra tăng từ 1.20 đến 1.60 lần, điểm trung bình RULER tăng từ 74.42 lên 75.28.
Tại sao quan trọng Việc cố định số lượng khối cho mỗi truy vấn vừa lãng phí vừa không chính xác; phương pháp mới chọn theo ngưỡng, mỗi khối chỉ được đọc một lần, giúp tăng tốc độ trong khi điểm đánh giá văn bản dài còn tăng nhẹ
Thích 12 · Số sao mã nguồn 6
Lý do
- Kết quả theo mô hình trong README: Qwen3-4B tăng tốc 1.53 lần, Qwen3-235B-A22B tăng 1.60 lần, Llama-3.1-8B tăng 1.42 lần; điểm RULER của GQA-30B-A3B (điểm kiểm tra nội bộ) và Qwen3-32B-YaRN4 giảm nhẹ
- Đường dẫn thiết bị cho cơ chế chú ý đầy đủ nhanh hơn 2.16–2.56 lần ở mức Top-32, còn việc định tuyến cộng với xây dựng chỉ mục thưa nhanh hơn 6.99–11.25 lần ở mức Top-64 (đơn vị kiểm thử lõi, không phải đầu-cuối)
- Cung cấp thêm cơ chế chú ý thưa Top-K tiêu chuẩn và giao diện Block-8 chi tiết hơn; giấy phép BSD-3-Clause
Cách sử dụng
- Mã nguồn: https://github.com/Tencent/LightningMoBA
- Biên dịch từ mã nguồn: sau khi cài đặt PyTorch phiên bản CUDA, nvcc và trình biên dịch C++17, chạy pip install setuptools wheel ninja packaging psutil, sau đó chạy MAX_JOBS=2 pip install --no-build-isolation -e '.[test]'; trong Python, import lightning_moba
- Gọi lightning_moba_topk_varlen_func (Top-K cố định), giao diện định tuyến theo ngưỡng động hoặc lightning_moba_block8_func; thư mục tests/ và benchmarks/ chứa các script kiểm thử và benchmark
Rủi ro
- Pipeline mặc định chỉ hỗ trợ các card đồ họa SM90 (các loại Hopper như H100 / H800), CUDA 12.3+, đầu vào phải là BF16, kích thước đầu 128; card đồ họa tiêu dùng không thể sử dụng đường dẫn mặc định
- Đây là thư viện lõi cơ chế chú ý, cần tích hợp vào các mô hình hỗ trợ MoBA mới có hiệu quả, không phải là một framework suy luận sẵn dùng; các con số tăng tốc đến từ bài kiểm thử song song tensor trên 8 card của tác giả. Mục này chưa được chạy
Mở · Mã nguồn · Trang bài báo