Tideway:在消费级电脑上跑大 MoE 模型

在显存和内存都有限的个人电脑上跑大型混合专家(MoE)模型,权重只能分散在显存、内存和 NVMe 固态硬盘三层,专家搬运直接卡在关键路径上。作者认为现有系统把各层当成互相独立的缓存,导致反复抖动。Tideway 把内存和显存合成统一内存池、由固态硬盘支撑,先回收跨层的重复副本;预填充阶段借显存做双缓冲流式加载并“锚定”可复用的内存专家,解码阶段归还借来的显存,改作固定地址的专家缓存槽;解码时用分段 CUDA Graph,缺失的专家在图段之间换入,不用重新捕获。论文称平均端到端延迟快 1.97 倍、首字时间快 2.40 倍、解码吞吐高 1.61 倍(对比最快的基线)。

原题:Tideway: Phase-Aware Tiered Memory Management for MoE Inference on Consumer Devices

在显存和内存都有限的个人电脑上跑大型混合专家(MoE)模型,权重只能分散在显存、内存和 NVMe 固态硬盘三层,专家搬运直接卡在关键路径上。作者认为现有系统把各层当成互相独立的缓存,导致反复抖动。Tideway 把内存和显存合成统一内存池、由固态硬盘支撑,先回收跨层的重复副本;预填充阶段借显存做双缓冲流式加载并“锚定”可复用的内存专家,解码阶段归还借来的显存,改作固定地址的专家缓存槽;解码时用分段 CUDA Graph,缺失的专家在图段之间换入,不用重新捕获。论文称平均端到端延迟快 1.97 倍、首字时间快 2.40 倍、解码吞吐高 1.61 倍(对比最快的基线)。

为什么重要 本地跑大 MoE 时权重必然溢出到内存和硬盘;作者称端到端延迟和首字时间都比最快的现有方案短

点赞 8 · 代码星数 6

理由

  • README 的测试机是 RTX 5090(32 GB 显存)配 16–128 GiB 内存,模型为 Qwen3.6-35B-A3B(BF16)、Gemma4-26B-A4B(BF16)和 DeepSeek-V4-Flash(FP4,约 155 GiB)
  • 作者称在 TraceLab 的多轮编程智能体会话上最多快 3.14 倍;对照基线有 FreeToken、llama.cpp、SSD-LLaMA、FlashMoE
  • 代码 Apache-2.0,附专家驻留和 29 轮智能体会话的测速回放动画

用法

  • 代码:https://github.com/Afterglow231/Tideway;需要 Linux、Python 3.12 以上、NVIDIA 显卡、CUDA 13 工具链和 GCC
  • python -m pip install -e . 后运行 python scripts/build_backend.py 组装后端;在导入 FreeToken 之前调用 tideway.activate_backend(),再按 docs/usage.md 用 tideway.offload.install 给引擎装上专家分层

风险

  • 它是叠在 FreeToken 0.1.2 上的后端,不是开箱即用的聊天程序;模型检查点、显存专家槽位、上下文长度都要自己配置
  • 提速幅度随内存大小差别很大,README 里 Qwen3.6-35B-A3B 配 64 GiB 内存时端到端只快 1.13 倍;SSD-LLaMA 和 FlashMoE 两个基线是作者按论文自行实现的。本条未运行

打开 · 代码 · 抱脸论文页

Hugging Face Daily Papers

浏览最新 AI 动态