原題:LowRAM: Low-Rank Keys and Amortised Values for Composable KV Cache Compression at Test-Time
長文脈のデコード時、KVキャッシュは長さに比例して線形に増加し、バッチサイズとスループットを制限する。LowRAMは、同一の注意ヘッド内の値の多くが対応するキーから予測可能であることを発見した。そこで、推論時に各ヘッドごとに小さな予測器をフィッティングし、予測精度が最も低いトークンのみ残差を保存する方式を採用し、さらに層間での低ランクキー圧縮を組み合わせる。ベースモデルの重みは変更せず、予測器はメタ学習による初期化を用いてプリフィル時のオーバーヘッドを低減できる。著者によれば、値キャッシュはほぼ非可逆的に 4 倍圧縮可能であり、4 倍圧縮時にピークデコードスループットが最大 5 倍向上する。さらに量子化とトークン淘汰を組み合わせることで、長文脈において 26.9 倍の圧縮率を達成しつつ、ベースライン性能の 94.5% を維持する。
なぜ重要か 長文脈推論のメモリ消費の大半をKVキャッシュが占めている。本手法はベースモデルの重みを変更せず、既存の量子化やトークン淘汰手法とも併用可能である。
いいね数 10 · リポジトリのスター数 1
理由
- 長文脈デプロイにおけるメモリとスループットのボトルネックに対処しており、量子化やトークン淘汰とは補完的な方向性であり、併用可能である
- リポジトリにはTransformers互換のCompressedCache実装、Llama-3.1-8BおよびMistral-7B用の予測器チェックポイント、実行可能なサンプルが含まれている
- READMEには、各結果が異なる実験設定に基づいていることが明記されており、単一の設定に混同して宣伝していない
使い方
- コード:https://github.com/lowram-model/lowram;预测器检查点随仓库用 Git LFS によるダウンロード(git lfs pull)
- まず
python -m examples.lowram_demo --method fastと--method baselineを実行して比較します。自分のコードでは、CompressedCacheをpast_key_valuesとしてmodel.generateに渡します。
リスク
- 現時点ではLlamaおよびMistralアーキテクチャのみサポートされており、デフォルトのLlama-3.1-8B-Instructを使用するにはHugging Faceでのアクセス申請が必要である
- READMEには、スループット向上は異なるバッチサイズにおけるピーク値の比較であり、小バッチでは非圧縮のベースラインの方が高速であることが記載されている
- プリフィル段階で予測器のフィッティングが必要であり、追加のオーバーヘッドが発生する。本項目は未実行である
開く · コード · Hugging Face論文ページ