LowRAM:キーで値を予測し、長文脈のKVキャッシュを圧縮する

長文脈のデコード時、KVキャッシュは長さに比例して線形に増加し、バッチサイズとスループットを制限する。LowRAMは、同一の注意ヘッド内の値の多くが対応するキーから予測可能であることを発見した。そこで、推論時に各ヘッドごとに小さな予測器をフィッティングし、予測精度が最も低いトークンのみ残差を保存する方式を採用し、さらに層間での低ランクキー圧縮を組み合わせる。ベースモデルの重みは変更せず、予測器はメタ学習による初期化を用いてプリフィル時のオーバーヘッドを低減できる。著者によれば、値キャッシュはほぼ非可逆的に 4 倍圧縮可能であり、4 倍圧縮時にピークデコードスループットが最大 5 倍向上する。さらに量子化とトークン淘汰を組み合わせることで、長文脈において 26.9 倍の圧縮率を達成しつつ、ベースライン性能の 94.5% を維持する。

原題:LowRAM: Low-Rank Keys and Amortised Values for Composable KV Cache Compression at Test-Time

長文脈のデコード時、KVキャッシュは長さに比例して線形に増加し、バッチサイズとスループットを制限する。LowRAMは、同一の注意ヘッド内の値の多くが対応するキーから予測可能であることを発見した。そこで、推論時に各ヘッドごとに小さな予測器をフィッティングし、予測精度が最も低いトークンのみ残差を保存する方式を採用し、さらに層間での低ランクキー圧縮を組み合わせる。ベースモデルの重みは変更せず、予測器はメタ学習による初期化を用いてプリフィル時のオーバーヘッドを低減できる。著者によれば、値キャッシュはほぼ非可逆的に 4 倍圧縮可能であり、4 倍圧縮時にピークデコードスループットが最大 5 倍向上する。さらに量子化とトークン淘汰を組み合わせることで、長文脈において 26.9 倍の圧縮率を達成しつつ、ベースライン性能の 94.5% を維持する。

なぜ重要か 長文脈推論のメモリ消費の大半をKVキャッシュが占めている。本手法はベースモデルの重みを変更せず、既存の量子化やトークン淘汰手法とも併用可能である。

いいね数 10 · リポジトリのスター数 1

理由

  • 長文脈デプロイにおけるメモリとスループットのボトルネックに対処しており、量子化やトークン淘汰とは補完的な方向性であり、併用可能である
  • リポジトリにはTransformers互換のCompressedCache実装、Llama-3.1-8BおよびMistral-7B用の予測器チェックポイント、実行可能なサンプルが含まれている
  • READMEには、各結果が異なる実験設定に基づいていることが明記されており、単一の設定に混同して宣伝していない

使い方

  • コード:https://github.com/lowram-model/lowram;预测器检查点随仓库用 Git LFS によるダウンロード(git lfs pull)
  • まず python -m examples.lowram_demo --method fast と --method baseline を実行して比較します。自分のコードでは、CompressedCache を past_key_values として model.generate に渡します。

リスク

  • 現時点ではLlamaおよびMistralアーキテクチャのみサポートされており、デフォルトのLlama-3.1-8B-Instructを使用するにはHugging Faceでのアクセス申請が必要である
  • READMEには、スループット向上は異なるバッチサイズにおけるピーク値の比較であり、小バッチでは非圧縮のベースラインの方が高速であることが記載されている
  • プリフィル段階で予測器のフィッティングが必要であり、追加のオーバーヘッドが発生する。本項目は未実行である

開く · コード · Hugging Face論文ページ

Hugging Face Daily Papers

最新の AI ニュースを見る