Flide:意思決定モデル向けの正確なフォーク推論エンジン

Jev などの「意思決定モデル」は、エージェントに対して選択式のような迅速な判断(与えられた状態に対し、各選択肢の確率を出力する)を行います。しかし、vLLM や SGLang のような生成用に設計されたエンジンでこの種のリクエストを処理すると、共通プレフィックスの再計算が繰り返されるか、出力確率が歪んでしまいます。Flide は意思決定リクエストの論理ツリーと物理実行を分離し、フラットなトークンストリーム内で ForkAttention を用いて分岐を処理します。また、標準的なアテンションと Gated DeltaNet 循環層の両方をサポートし、各分岐の結果が個別のフォワードパスと完全に一致することを保証します。エージェントの履歴が長くなっても、以前保存されたチェックポイントから計算を再開できます。著者によると、vLLM や SGLang と比較して最大 9.5 倍高速であり、float32 の参照結果に最も近いとのことです。

原題:Flide: Accelerating Decision Inference with Exact State Forking

Jev などの「意思決定モデル」は、エージェントに対して選択式のような迅速な判断(与えられた状態に対し、各選択肢の確率を出力する)を行います。しかし、vLLM や SGLang のような生成用に設計されたエンジンでこの種のリクエストを処理すると、共通プレフィックスの再計算が繰り返されるか、出力確率が歪んでしまいます。Flide は意思決定リクエストの論理ツリーと物理実行を分離し、フラットなトークンストリーム内で ForkAttention を用いて分岐を処理します。また、標準的なアテンションと Gated DeltaNet 循環層の両方をサポートし、各分岐の結果が個別のフォワードパスと完全に一致することを保証します。エージェントの履歴が長くなっても、以前保存されたチェックポイントから計算を再開できます。著者によると、vLLM や SGLang と比較して最大 9.5 倍高速であり、float32 の参照結果に最も近いとのことです。

なぜ重要か エージェント内では「どれを選ぶか」「実行するか否か」といった迅速な判断が大量に発生します。汎用推論エンジンよりも高速で、出力確率の歪みなく処理できるため重要です。

いいね 32 · コードスター数 386

理由

  • PyPI パッケージとして公開済みで、Qwen3.5、Gemma 4 および数十のオープンソース意思決定モデルファミリーをサポートしています。著者は現在もモデルを追加し続けています。
  • README のメール分類例:H200 1枚で、1 万通のメールそれぞれに 8 個の質問への回答を 28 秒で処理
  • --session-cache-gb を使用すると以前のリクエストの状態を保持でき、エージェントは次のステップで新規追加部分のみを計算すれば済みます

使い方

  • コード:https://github.com/OmniJev/Flide;uv pip install flide torchvision の後、flide serve --model <モデル名>
  • リクエストは /v1/systemone に送信します。state には現在の状況を、questions には選択式または真偽式の質問を記述します

リスク

  • 意思決定系リクエスト(選択肢に確率を付与するもの)のみに対応しており、汎用テキスト生成エンジンではありません。
  • モデルごとの高速化倍率は大きく異なります。README の表では約 1.0 倍から 28.1 倍まで幅があり、これらはすべて著者が H200 上で測定したものです。
  • 本項目は未実行です

開く · コード · 論文ページを見る

Hugging Face Daily Papers

最新の AI ニュースを見る