原題:SPILLWAY: Separating Target Admission from Sanitization to Defend Tool-Using Agents against Prompt Injection
多くのランタイム防御では、大規模言語モデル(LLM)がアクションの実行可否を判断するが、このモデルは攻撃者のテキストを読む可能性があり、さらに各ステップでモデル呼び出しが発生する。SPILLWAYの観察によれば、アクションの宛先はツールの型付き戻り値から読み取れる——メールの送信者や支払いの口座などは型付きフィールドに含まれており、注入された指示は自由テキストである。そのチェックでは、「ツール出力には存在するがユーザータスクには存在しない」各ターゲット値が、読み取り専用ツールの型付きフィールド由来であるか、固定の委任ルールでカバーされている場合のみ実行を許可する。決定論的なサニタイザーは、モデルが読む前に指示のような断片を削除し証拠として保持する。オプションのローカルレビューは、拒否された呼び出しを回復できるだけであり、削除されたテキスト内にターゲットが存在する呼び出しを実行させることはできない。著者らは、3つのバックボーンモデル(そのうち1つでは7つのタスクスイートを実行)において、標準的なテンプレートインジェクションはいずれもアクションを攻撃者のターゲットへ誘導できなかったと主張しており、同時にユーティリティは最高であった。強化学習ベースの攻撃者に対しては、平均攻撃成功率が .007 であった。
なぜ重要か メール送信、ファイル操作、支払いを行うエージェントは、注入された指示によってデータや資金を奪われることを恐れている。SPILLWAYは大規模言語モデルによる実行判断に依存せず、モデル呼び出しの増加はほぼない。
いいね 55 · コードスター数 2
理由
- 実行許可チェックは集合検索であり、モデルを呼び出さない。バックボーンモデルを変更しても拒否結果は同じである。ローカルレビューは拒否された呼び出しのみを対象とする。
- pipパッケージ
spillway-guardとして提供されており、LangChain / LangGraph、OpenAI Agents SDK と統合可能。またはプロキシスクリプトを用いて任意のMCPホストに接続できる。 - READMEには脅威モデルと限界が明記されており、再現可能なAgentDojoのセルごとの結果が付属している。
使い方
- コード:https://github.com/saintmachines/spillway(Apache-2.0)
pip install spillway-guardを実行後、Guard(user\_task=…)でタスクをラップする。observe\_tool\_returnでツールの戻り値を記録し、check\_callで各呼び出しをチェックする。ツールの戻り値はPydanticモデルで宣言する必要があり、受信者などのアドレスは宣言済みのフィールドに配置する。
リスク
- ツールセットごとにどのパラメータがターゲットであるかを事前に宣言する必要がある。宣言されていないパラメータ名はチェックされない。委任ルールとレビューは、適応的な攻撃者が狙う箇所である。
- ゼロリーク(情報漏洩なし)は論文で設定されたベンチマーク条件下でのみ成立する。READMEによれば、公開されているPISmith評価では攻撃成功率はゼロではない。
- 成績は著者による報告であり、本記事では実行検証を行っていない。
開く · コード · Hugging Face論文ページ