LightningMoBA: ускорение инференса с длинным контекстом для блочно-разреженного внимания

Команда Tencent улучшила реализацию инференса смеси блочного внимания (MoBA): маршрутизация больше не назначает каждому запросу фиксированные Top-K блоков ключей и значений, а устанавливает порог на основе оценок блоков, позволяя их количество варьироваться; при выполнении операции группируются по парам (заголовка запроса, блока ключей и значений), загруженные блоки ключей и значений повторно используются всеми запросами, выбравшими их, а блоки со слишком большим коэффициентом ветвления разбиваются на более мелкие задачи; на видеокартах Hopper передача данных перекрывается с вычислениями на тензорных ядрах. В статье утверждается, что при одинаковом бюджете на сохранение данных сквозное ускорение генерации для пяти контрольных точек составляет от 1.20 до 1.60 раз, а средний балл RULER повышается с 74.42 до 75.28.

Оригинальное название: Accelerating Mixture of Block Attention via Dynamic Routing, KV-Centric Execution and Runtime Pipelining

Команда Tencent улучшила реализацию инференса смеси блочного внимания (MoBA): маршрутизация больше не назначает каждому запросу фиксированные Top-K блоков ключей и значений, а устанавливает порог на основе оценок блоков, позволяя их количество варьироваться; при выполнении операции группируются по парам (заголовка запроса, блока ключей и значений), загруженные блоки ключей и значений повторно используются всеми запросами, выбравшими их, а блоки со слишком большим коэффициентом ветвления разбиваются на более мелкие задачи; на видеокартах Hopper передача данных перекрывается с вычислениями на тензорных ядрах. В статье утверждается, что при одинаковом бюджете на сохранение данных сквозное ускорение генерации для пяти контрольных точек составляет от 1.20 до 1.60 раз, а средний балл RULER повышается с 74.42 до 75.28.

Почему это важно Фиксированное количество блоков на запрос приводит к неэффективному использованию ресурсов и неточности; новый подход выбирает блоки по порогу и загружает каждый блок только один раз, что обеспечивает ускорение при одновременном небольшом повышении баллов в тестах на длинных текстах

Лайков 12 · Звёзд в коде 6

Обоснование

  • Результаты по моделям в README: ускорение Qwen3-4B в 1.53 раз, Qwen3-235B-A22B в 1.60 раз, Llama-3.1-8B в 1.42 раз; баллы RULER для GQA-30B-A3B (внутренняя контрольная точка) и Qwen3-32B-YaRN4 немного снизились
  • Путь полного внимания на устройстве ускоряется в 2.16–2.56 раз при Top-32, а маршрутизация с построением разреженного индекса ускоряется в 6.99–11.25 раз при Top-64 (тесты ядер, а не сквозное тестирование)
  • Также предоставляются стандартное разреженное внимание с фиксированным Top-K и более детальный интерфейс Block-8; лицензия BSD-3-Clause

Использование

  • Код: https://github.com/Tencent/LightningMoBA
  • Компиляция из исходного кода: установите PyTorch с поддержкой CUDA, nvcc и компилятор C++17, затем выполните pip install setuptools wheel ninja packaging psutil, после чего выполните MAX_JOBS=2 pip install --no-build-isolation -e '.[test]'; в Python импортируйте lightning_moba
  • Вызывайте lightning_moba_topk_varlen_func (фиксированный Top-K), интерфейс динамической маршрутизации по порогу или lightning_moba_block8_func; в каталогах tests/ и benchmarks/ находятся скрипты для тестирования и бенчмарков

Риски

  • Конвейер по умолчанию поддерживает только видеокарты SM90 (такие как H100 / H800 архитектуры Hopper), CUDA 12.3+, входные данные должны быть в формате BF16, размер заголовка 128; путь по умолчанию недоступен на потребительских видеокартах
  • Это библиотека ядер внимания, которая требует интеграции в модель, поддерживающую MoBA, и не является готовым фреймворком для инференса; цифры ускорения получены авторами при тестировании с тензорным параллелизмом на 8 картах. Данный пункт не был выполнен

Открыть · Код · Страница статьи на Hugging Face

Hugging Face Daily Papers

Открыть последние новости ИИ