原题:Tideway: Phase-Aware Tiered Memory Management for MoE Inference on Consumer Devices
在显存和内存都有限的个人电脑上跑大型混合专家(MoE)模型,权重只能分散在显存、内存和 NVMe 固态硬盘三层,专家搬运直接卡在关键路径上。作者认为现有系统把各层当成互相独立的缓存,导致反复抖动。Tideway 把内存和显存合成统一内存池、由固态硬盘支撑,先回收跨层的重复副本;预填充阶段借显存做双缓冲流式加载并“锚定”可复用的内存专家,解码阶段归还借来的显存,改作固定地址的专家缓存槽;解码时用分段 CUDA Graph,缺失的专家在图段之间换入,不用重新捕获。论文称平均端到端延迟快 1.97 倍、首字时间快 2.40 倍、解码吞吐高 1.61 倍(对比最快的基线)。
为什么重要 本地跑大 MoE 时权重必然溢出到内存和硬盘;作者称端到端延迟和首字时间都比最快的现有方案短
点赞 8 · 代码星数 6
理由
- README 的测试机是 RTX 5090(32 GB 显存)配 16–128 GiB 内存,模型为 Qwen3.6-35B-A3B(BF16)、Gemma4-26B-A4B(BF16)和 DeepSeek-V4-Flash(FP4,约 155 GiB)
- 作者称在 TraceLab 的多轮编程智能体会话上最多快 3.14 倍;对照基线有 FreeToken、llama.cpp、SSD-LLaMA、FlashMoE
- 代码 Apache-2.0,附专家驻留和 29 轮智能体会话的测速回放动画
用法
- 代码:https://github.com/Afterglow231/Tideway;需要 Linux、Python 3.12 以上、NVIDIA 显卡、CUDA 13 工具链和 GCC
- python -m pip install -e . 后运行 python scripts/build_backend.py 组装后端;在导入 FreeToken 之前调用 tideway.activate_backend(),再按 docs/usage.md 用 tideway.offload.install 给引擎装上专家分层
风险
- 它是叠在 FreeToken 0.1.2 上的后端,不是开箱即用的聊天程序;模型检查点、显存专家槽位、上下文长度都要自己配置
- 提速幅度随内存大小差别很大,README 里 Qwen3.6-35B-A3B 配 64 GiB 内存时端到端只快 1.13 倍;SSD-LLaMA 和 FlashMoE 两个基线是作者按论文自行实现的。本条未运行