SPILLWAY: 프롬프트 주입을 방지하는 에이전트 액션 게이트웨이

많은 런타임 방어 메커니즘은 대형 언어 모델(LLM)이 액션 허용 여부를 결정하도록 하지만, 이 모델은 공격자의 텍스트를 읽을 수 있으며 각 단계마다 모델 호출이 추가됩니다. SPILLWAY의 관찰은 다음과 같습니다: 액션의 대상은 도구의 타입화된 반환값에서 읽을 수 있습니다—이메일 발신자, 결제 계좌 등은 타입화된 필드에 있으며, 주입된 지시는 자유 텍스트입니다. 이 시스템의 검사는 각 '도구 출력에는 있지만 사용자 작업에는 없는' 대상 값이 읽기 전용 도구의 타입화된 필드에서 나오거나 고정된 위임 규칙에 의해 덮어쓰일 때만 허용합니다. 결정적 클렌저는 모델이 읽기 전에 지시처럼 보이는 조각을 삭제하고 증거로 보존하며, 선택적 로컬 리뷰어는 거부된 호출만 복원할 수 있고, 대상이 삭제된 텍스트에 있는 호출은 허용할 수 없습니다. 저자들은 세 가지 백본 모델(그중 하나에서 7개 작업 스위트를 실행)에서 표준 템플릿 주입이 액션을 공격자의 대상으로 유도하지 못했으며 동시에 유틸리티가 가장 높았다고 주장합니다. 강화 학습 공격자 하에서 평균 공격 성공률은 .007입니다.

원제: SPILLWAY: Separating Target Admission from Sanitization to Defend Tool-Using Agents against Prompt Injection

많은 런타임 방어 메커니즘은 대형 언어 모델(LLM)이 액션 허용 여부를 결정하도록 하지만, 이 모델은 공격자의 텍스트를 읽을 수 있으며 각 단계마다 모델 호출이 추가됩니다. SPILLWAY의 관찰은 다음과 같습니다: 액션의 대상은 도구의 타입화된 반환값에서 읽을 수 있습니다—이메일 발신자, 결제 계좌 등은 타입화된 필드에 있으며, 주입된 지시는 자유 텍스트입니다. 이 시스템의 검사는 각 '도구 출력에는 있지만 사용자 작업에는 없는' 대상 값이 읽기 전용 도구의 타입화된 필드에서 나오거나 고정된 위임 규칙에 의해 덮어쓰일 때만 허용합니다. 결정적 클렌저는 모델이 읽기 전에 지시처럼 보이는 조각을 삭제하고 증거로 보존하며, 선택적 로컬 리뷰어는 거부된 호출만 복원할 수 있고, 대상이 삭제된 텍스트에 있는 호출은 허용할 수 없습니다. 저자들은 세 가지 백본 모델(그중 하나에서 7개 작업 스위트를 실행)에서 표준 템플릿 주입이 액션을 공격자의 대상으로 유도하지 못했으며 동시에 유틸리티가 가장 높았다고 주장합니다. 강화 학습 공격자 하에서 평균 공격 성공률은 .007입니다.

왜 중요한가 이메일을 보내고, 파일을 수정하고, 결제를 처리하는 에이전트는 주입된 지시로 데이터와 자금이 유출될 위험이 있습니다. 이 시스템은 대형 언어 모델에 허용 판단을 맡기지 않으며, 모델 호출을 거의 증가시키지 않습니다

좋아요 55 · 코드 스타 수 2

이유

  • 허용 검사는 모델 호출이 없는 집합 조회이며, 백본 모델을 교체해도 거부 결과가 동일합니다. 로컬 리뷰어는 거부된 호출만 확인합니다
  • pip 패키지 spillway-guard로 패키징되어 LangChain / LangGraph, OpenAI Agents SDK에 연결하거나 프록시 스크립트를 통해 임의의 MCP 호스트에 연결할 수 있습니다
  • README에 위협 모델과 한계가 명시되어 있으며, 재현 가능한 AgentDojo의 셀별 결과가 첨부되어 있습니다

사용법

  • 코드: https://github.com/saintmachines/spillway(Apache-2.0)
  • pip install spillway-guard 후 Guard(user_task=…)로 작업을 감싸고, observe_tool_return으로 도구 반환값을 기록하며, check_call로 각 호출을 검사합니다. 도구 반환값은 Pydantic 모델로 선언해야 하며, 수신자 등 주소는 선언된 필드에 배치해야 합니다

위험

  • 각 도구 세트에 대해 어떤 매개변수가 대상인지 먼저 선언해야 하며, 선언되지 않은 매개변수 이름은 검사되지 않습니다. 위임 규칙과 리뷰어는 적응형 공격자가 노리는 지점입니다
  • 제로 유출은 논문에서 설정한 벤치마크 조건에서만 성립하며, README에 따르면 공개된 PISmith 평가에서는 공격 성공률이 0이 아닙니다
  • 성능은 저자가 보고한 수치이며, 본 항목은 실행되지 않았습니다

열기 · 코드 · 논문 페이지

Hugging Face Daily Papers

최신 AI 소식 보기