SPILLWAY:防提示注入的智能体动作闸门

很多运行时防御让大模型决定是否放行动作,这个模型可能读到攻击者的文字,还给每一步加模型调用。SPILLWAY 的观察是:动作的去向可以从工具的类型化返回值里读出——邮件的发件人、付款的账户都在类型化字段里,注入的指令则是自由文本。它的检查只在每个“工具输出里有、用户任务里没有”的目标值来自只读工具的类型化字段,或被固定的委托规则覆盖时才放行;确定性清洗器在模型读取前删掉像指令的片段并保留为证据,可选的本地评审只能恢复被拒的调用,不能放行目标位于被删文本中的调用。作者称在三个骨干模型、其中一个上跑七个任务套件,标准模板注入都没能把动作导向攻击者的目标,同时效用最高;强化学习攻击者下平均攻击成功率为 .007。

原题:SPILLWAY: Separating Target Admission from Sanitization to Defend Tool-Using Agents against Prompt Injection

很多运行时防御让大模型决定是否放行动作,这个模型可能读到攻击者的文字,还给每一步加模型调用。SPILLWAY 的观察是:动作的去向可以从工具的类型化返回值里读出——邮件的发件人、付款的账户都在类型化字段里,注入的指令则是自由文本。它的检查只在每个“工具输出里有、用户任务里没有”的目标值来自只读工具的类型化字段,或被固定的委托规则覆盖时才放行;确定性清洗器在模型读取前删掉像指令的片段并保留为证据,可选的本地评审只能恢复被拒的调用,不能放行目标位于被删文本中的调用。作者称在三个骨干模型、其中一个上跑七个任务套件,标准模板注入都没能把动作导向攻击者的目标,同时效用最高;强化学习攻击者下平均攻击成功率为 .007。

为什么重要 能发邮件、动文件、付款的智能体怕被注入指令转走数据和钱;它不靠大模型做放行判断,几乎不增加模型调用

点赞 55 · 代码星数 2

理由

  • 放行检查是集合查找,不调用模型,换骨干模型拒绝结果也一样;本地评审只看被拒的调用
  • 已打包成 pip 包 spillway-guard,可接 LangChain / LangGraph、OpenAI Agents SDK,或用代理脚本接到任意 MCP 宿主
  • README 写明了威胁模型和局限,附可复现的 AgentDojo 逐格结果

用法

  • 代码:https://github.com/saintmachines/spillway(Apache-2.0)
  • pip install spillway-guard 后用 Guard(user_task=…) 包住任务,observe_tool_return 记录工具返回、check_call 检查每个调用;工具返回要用 Pydantic 模型声明,收件人等地址放在声明好的字段里

风险

  • 每套工具要先声明哪些参数是目标,没声明的参数名不检查;委托规则和评审是自适应攻击者会针对的地方
  • 零泄露只在论文设定的基准条件下成立,README 称公开的 PISmith 评测里攻击成功率不为零
  • 成绩为作者报告;本条未运行

打开 · 代码 · 抱脸论文页

Hugging Face Daily Papers

浏览最新 AI 动态