RidgeFill:学習不要で上位層の計算をスキップし、長いプロンプトのプリフィルを高速化

長いプロンプトのプリフィルでは、通常すべての層を完全に計算する必要があります。RidgeFillは、ある境界層まで下位層のみを完全に計算し、各層に1つのリッジ回帰マッピングを用いて、境界層の状態から上位各層の入力を予測し、上位層がそれに基づいてキャッシュに直接書き込めるようにします。マッピングは、1つのキャリブレーションテキストで一度だけ閉形式でフィッティングされ、学習は行わず、トークンを失うこともありません。指定された行、最後の数千のプロンプトトークン、およびすべてのデコードステップでは、依然として完全なモデルを実行します。このアプローチは、YOCOやDeepSeek-V4.1-Flashでモデルに学習された投影から着想を得ており、RidgeFillは、そのような構造で学習されていないモデルにこれを適用します。著者によると、Qwen3.8-27Bはllama.cppのフォークで、単一のA100上で16K~120Kトークンの初回トークンまでの時間(TTFT)が1.25~1.31倍高速になり、RULERとLongBench v2のスコアは1.2~1.4ポイント低下しました。また、Qwen3.8-Flash-NextはvLLM上で1.50~1.60倍高速になります。

原題:RidgeFill: Training-Free Late-Layer Cache Fill for Faster Prefill

長いプロンプトのプリフィルでは、通常すべての層を完全に計算する必要があります。RidgeFillは、ある境界層まで下位層のみを完全に計算し、各層に1つのリッジ回帰マッピングを用いて、境界層の状態から上位各層の入力を予測し、上位層がそれに基づいてキャッシュに直接書き込めるようにします。マッピングは、1つのキャリブレーションテキストで一度だけ閉形式でフィッティングされ、学習は行わず、トークンを失うこともありません。指定された行、最後の数千のプロンプトトークン、およびすべてのデコードステップでは、依然として完全なモデルを実行します。このアプローチは、YOCOやDeepSeek-V4.1-Flashでモデルに学習された投影から着想を得ており、RidgeFillは、そのような構造で学習されていないモデルにこれを適用します。著者によると、Qwen3.8-27Bはllama.cppのフォークで、単一のA100上で16K~120Kトークンの初回トークンまでの時間(TTFT)が1.25~1.31倍高速になり、RULERとLongBench v2のスコアは1.2~1.4ポイント低下しました。また、Qwen3.8-Flash-NextはvLLM上で1.50~1.60倍高速になります。

なぜ重要か モデルの変更や学習を行わずに、長いコンテキストの初回トークンまでの待ち時間を短縮できます。llama.cppのフォークとマッピングファイルはどちらもダウンロード可能です。

いいね 2 · コードのスター数 0

理由

  • 長いコンテキストのデプロイにおける初回トークンまでの遅延に対処しており、KV量子化やトークン淘汰などのアプローチとは方向性が異なります。
  • すべての結論はリポジトリのデータで再計算可能です。各数値にはスクリプトとファイルが対応しており、実行記録にはハッシュチェーンが含まれています。
  • Qwen3.8-27B、Qwen3.8-Flash-Next、および3つの8~9Bの参照モデルのマッピングファイルは、Hugging FaceのTheCacheIsALie組織下に公開されています。

使い方

  • データとコード:https://github.com/Approximate-Science/ridgefill-data;推理用 llama.cppのフォーク Approximate-Science/llama.cpp-ridgefill
  • 結論の検証のみを行う場合:bash recompute/run_all.shを実行した後、recompute/gate.pyで比較します。Pythonとnumpyのみが必要です。

リスク

  • 著者は、品質低下の95%信頼区間にはゼロが含まれているものの、数ポイントの損失を排除できないと説明しています。
  • Flash-Nextで使用されているvLLMのフォークのソースコードは非公開であり、公開されているミラーのみが存在します。リポジトリは主にデータと再現スクリプトで構成されています。
  • 論文はZenodoに掲載されていますが、arXivの要旨とREADMEの間で一部の数値が一致していません。本記事では実行検証を行っていません。

開く · コード · Hugging Faceの論文ページ

Hugging Face Daily Papers

最新の AI ニュースを見る