原題:Tideway: Phase-Aware Tiered Memory Management for MoE Inference on Consumer Devices
VRAMとメモリが限られた個人用PCで大型混合専門家(MoE)モデルを実行する場合、重みはVRAM、メモリ、NVMe SSDの3層に分散させるしかなく、専門家の転送がクリティカルパスのボトルネックとなる。著者は、既存システムが各層を互いに独立したキャッシュとして扱うため、頻繁なスラッシングが発生すると指摘している。TidewayはメモリとVRAMをSSDでバックアップされた統一メモリプールとして統合し、まず層間の重複コピーを回収する。プリフィル段階ではVRAMを借用してダブルバッファリングによるストリーミング読み込みを行い、再利用可能なメモリ上の専門家を「アンカー」する。デコード段階では借用したVRAMを返却し、固定アドレスの専門家キャッシュスロットとして再利用する。デコード時にはセグメント化されたCUDA Graphを使用し、不足している専門家はグラフセグメント間でスワップインするため、再キャプチャは不要である。論文によると、最速のベースラインと比較して、平均エンドツーエンド遅延が1.97倍高速、最初のトークンまでの時間(TTFT)が2.40倍高速、デコードスループットが1.61倍向上している。
なぜ重要か ローカルで大型MoEを実行する際、重みは必然的にメモリとディスクに溢れ出す。著者によれば、エンドツーエンド遅延と最初のトークンまでの時間(TTFT)の両方が、既存の最速ソリューションよりも短縮される
いいね 8 · コードのスター数 6
理由
- READMEに記載されたテスト環境は、RTX 5090(32 GB VRAM)と16–128 GiBメモリを搭載したマシンで、モデルはQwen3.6-35B-A3B(BF16)、Gemma4-26B-A4B(BF16)、およびDeepSeek-V4-Flash(FP4、約155 GiB)である
- 著者はTraceLabのマルチターン・プログラミングエージェントセッションにおいて、最大3.14倍の高速化を達成したと主張している。比較対象のベースラインにはFreeToken、llama.cpp、SSD-LLaMA、FlashMoEが含まれる
- コードはApache-2.0ライセンスで公開されており、専門家駐在と29ターン分のエージェントセッションの速度測定リプレイアニメーションが付属している
使い方
- 要件:https://github.com/Afterglow231/Tideway;需要 Linux、Python 3.12 以上、NVIDIA GPU、CUDA 13 ツールチェーンおよび GCC
python -m pip install -e .を実行した後、python scripts/build_backend.pyを実行してバックエンドを構築します。FreeToken をインポートする前にtideway.activate_backend()を呼び出し、その後docs/usage.mdに従ってtideway.offload.installを使用してエンジンにエキスパート階層を追加します
リスク
- これはFreeToken 0.1.2の上に重ねるバックエンドであり、すぐに使えるチャットアプリケーションではない。モデルチェックポイント、VRAM上の専門家スロット、コンテキスト長などはすべて自分で設定する必要がある
- 高速化の程度はメモリサイズによって大きく異なる。READMEによると、Qwen3.6-35B-A3Bを64 GiBメモリで構成した場合、エンドツーエンドの高速化はわずか1.13倍にとどまる。SSD-LLaMAとFlashMoEの2つのベースラインは、著者が論文に基づいて独自に実装したものである。本項目は実行されていない