Оригинальное название: Tideway: Phase-Aware Tiered Memory Management for MoE Inference on Consumer Devices
Запуск больших моделей со смешанной архитектурой экспертов (MoE) на персональных компьютерах с ограниченными объемами видеопамяти и оперативной памяти требует распределения весов между тремя уровнями: видеопамятью, оперативной памятью и NVMe SSD, при этом перемещение экспертов оказывается критическим узким местом. Авторы считают, что существующие системы рассматривают эти уровни как независимые кэши, что приводит к частым сбоям кэша (thrashing). Tideway объединяет оперативную память и видеопамять в единый пул памяти, поддерживаемый SSD, сначала устраняя дублирующиеся копии между уровнями; на этапе предзаполнения (prefill) используется видеопамять для потоковой загрузки с двойной буферизацией и «закрепления» переиспользуемых экспертов в оперативной памяти, а на этапе декодирования заимствованная видеопамять возвращается и переоборудуется в слоты кэша экспертов с фиксированными адресами; при декодировании применяются сегментированные графы CUDA, где недостающие эксперты подгружаются между сегментами графа без необходимости повторного захвата. В статье утверждается, что средняя сквозная задержка снижена в 1.97 раз, время до первого токена (TTFT) сокращено в 2.40 раз, а пропускная способность декодирования увеличена в 1.61 раз (по сравнению с самым быстрым базовым методом).
Почему это важно При локальном запуске больших MoE-моделей веса неизбежно выходят за пределы видеопамяти в оперативную память и на диск; авторы утверждают, что сквозная задержка и время до первого токена короче, чем у самых быстрых существующих решений
Лайков 8 · Звезд на GitHub 6
Обоснование
- Тестовая машина в README: RTX 5090 (32 ГБ видеопамяти) с 16–128 ГиБ оперативной памяти, модели: Qwen3.6-35B-A3B (BF16), Gemma4-26B-A4B (BF16) и DeepSeek-V4-Flash (FP4, около 155 ГиБ)
- Авторы заявляют об ускорении до 3.14 раз на многоходовых сессиях программирующих агентов в TraceLab; базовые методы для сравнения: FreeToken, llama.cpp, SSD-LLaMA, FlashMoE
- Лицензия кода Apache-2.0, прилагается анимация воспроизведения замеров производительности с размещением экспертов и сессиями агентов из 29 ходов
Использование
- Требования к коду: https://github.com/Afterglow231/Tideway;需要 Linux, Python версии 3.12 и выше, видеокарта NVIDIA, инструментарий CUDA 13 и GCC
- После выполнения python -m pip install -e . запустите python scripts/build_backend.py для сборки бэкенда; вызовите tideway.activate_backend() перед импортом FreeToken, затем следуйте инструкциям в docs/usage.md, чтобы установить многоуровневое размещение экспертов в движок с помощью tideway.offload.install
Риски
- Это бэкенд, надстраиваемый над FreeToken 0.1.2, а не готовое к использованию чат-приложение; контрольные точки моделей, слоты экспертов в видеопамяти и длина контекста требуют самостоятельной настройки
- Степень ускорения сильно зависит от объема оперативной памяти: в README указано, что для Qwen3.6-35B-A3B с 64 ГиБ оперативной памяти сквозная задержка снижается всего в 1.13 раз; базовые методы SSD-LLaMA и FlashMoE были реализованы авторами самостоятельно на основе статей. Данный пункт не проверялся на практике