SPILLWAY:プロンプトインジェクションを防ぐエージェント用アクションゲート

多くのランタイム防御では、大規模言語モデル(LLM)がアクションの実行可否を判断するが、このモデルは攻撃者のテキストを読む可能性があり、さらに各ステップでモデル呼び出しが発生する。SPILLWAYの観察によれば、アクションの宛先はツールの型付き戻り値から読み取れる——メールの送信者や支払いの口座などは型付きフィールドに含まれており、注入された指示は自由テキストである。そのチェックでは、「ツール出力には存在するがユーザータスクには存在しない」各ターゲット値が、読み取り専用ツールの型付きフィールド由来であるか、固定の委任ルールでカバーされている場合のみ実行を許可する。決定論的なサニタイザーは、モデルが読む前に指示のような断片を削除し証拠として保持する。オプションのローカルレビューは、拒否された呼び出しを回復できるだけであり、削除されたテキスト内にターゲットが存在する呼び出しを実行させることはできない。著者らは、3つのバックボーンモデル(そのうち1つでは7つのタスクスイートを実行)において、標準的なテンプレートインジェクションはいずれもアクションを攻撃者のターゲットへ誘導できなかったと主張しており、同時にユーティリティは最高であった。強化学習ベースの攻撃者に対しては、平均攻撃成功率が .007 であった。

原題:SPILLWAY: Separating Target Admission from Sanitization to Defend Tool-Using Agents against Prompt Injection

多くのランタイム防御では、大規模言語モデル(LLM)がアクションの実行可否を判断するが、このモデルは攻撃者のテキストを読む可能性があり、さらに各ステップでモデル呼び出しが発生する。SPILLWAYの観察によれば、アクションの宛先はツールの型付き戻り値から読み取れる——メールの送信者や支払いの口座などは型付きフィールドに含まれており、注入された指示は自由テキストである。そのチェックでは、「ツール出力には存在するがユーザータスクには存在しない」各ターゲット値が、読み取り専用ツールの型付きフィールド由来であるか、固定の委任ルールでカバーされている場合のみ実行を許可する。決定論的なサニタイザーは、モデルが読む前に指示のような断片を削除し証拠として保持する。オプションのローカルレビューは、拒否された呼び出しを回復できるだけであり、削除されたテキスト内にターゲットが存在する呼び出しを実行させることはできない。著者らは、3つのバックボーンモデル(そのうち1つでは7つのタスクスイートを実行)において、標準的なテンプレートインジェクションはいずれもアクションを攻撃者のターゲットへ誘導できなかったと主張しており、同時にユーティリティは最高であった。強化学習ベースの攻撃者に対しては、平均攻撃成功率が .007 であった。

なぜ重要か メール送信、ファイル操作、支払いを行うエージェントは、注入された指示によってデータや資金を奪われることを恐れている。SPILLWAYは大規模言語モデルによる実行判断に依存せず、モデル呼び出しの増加はほぼない。

いいね 55 · コードスター数 2

理由

  • 実行許可チェックは集合検索であり、モデルを呼び出さない。バックボーンモデルを変更しても拒否結果は同じである。ローカルレビューは拒否された呼び出しのみを対象とする。
  • pipパッケージ spillway-guard として提供されており、LangChain / LangGraph、OpenAI Agents SDK と統合可能。またはプロキシスクリプトを用いて任意のMCPホストに接続できる。
  • READMEには脅威モデルと限界が明記されており、再現可能なAgentDojoのセルごとの結果が付属している。

使い方

  • コード:https://github.com/saintmachines/spillway(Apache-2.0)
  • pip install spillway-guard を実行後、Guard(user\_task=…) でタスクをラップする。observe\_tool\_return でツールの戻り値を記録し、check\_call で各呼び出しをチェックする。ツールの戻り値はPydanticモデルで宣言する必要があり、受信者などのアドレスは宣言済みのフィールドに配置する。

リスク

  • ツールセットごとにどのパラメータがターゲットであるかを事前に宣言する必要がある。宣言されていないパラメータ名はチェックされない。委任ルールとレビューは、適応的な攻撃者が狙う箇所である。
  • ゼロリーク(情報漏洩なし)は論文で設定されたベンチマーク条件下でのみ成立する。READMEによれば、公開されているPISmith評価では攻撃成功率はゼロではない。
  • 成績は著者による報告であり、本記事では実行検証を行っていない。

開く · コード · Hugging Face論文ページ

Hugging Face Daily Papers

最新の AI ニュースを見る