Оригинальное название: SPILLWAY: Separating Target Admission from Sanitization to Defend Tool-Using Agents against Prompt Injection
Многие механизмы защиты во время выполнения полагаются на большую языковую модель (LLM) для принятия решения о разрешении действия; эта модель может прочитать текст атакующего, а также требует дополнительного вызова модели на каждом шаге. Наблюдение SPILLWAY заключается в том, что направление действия можно определить из типизированных возвращаемых значений инструментов — отправитель письма, счет для платежа находятся в типизированных полях, тогда как внедренные инструкции являются свободным текстом. Проверка разрешает действие только в том случае, если каждое целевое значение, присутствующее в выводе инструмента, но отсутствующее в пользовательской задаче, поступает из типизированного поля инструмента только для чтения или покрывается фиксированным правилом делегирования. Детерминированный очиститель удаляет фрагменты, похожие на инструкции, перед чтением моделью и сохраняет их как доказательства; опциональная локальная проверка может только восстановить отклоненные вызовы, но не может разрешить вызовы, цель которых находится в удаленном тексте. Авторы утверждают, что на трех базовых моделях (на одной из них было выполнено семь наборов задач) стандартные инъекции шаблонов не смогли направить действия на цели атакующего, при этом полезность осталась максимальной; средняя успешность атаки при использовании атакующего на основе обучения с подкреплением составила .007.
Почему это важно Агенты, способные отправлять электронную почту, изменять файлы и совершать платежи, уязвимы к инъекциям инструкций, которые могут перехватить данные и деньги; эта система не полагается на LLM для принятия решений о разрешении и практически не увеличивает количество вызовов модели
Лайки 55 · Звезды в коде 2
Причины
- Проверка разрешения представляет собой поиск по множеству, не вызывает модель, и результаты отказа остаются неизменными при смене базовой модели; локальная проверка рассматривает только отклоненные вызовы
- Пакет уже упакован как pip-пакет spillway-guard, совместим с LangChain / LangGraph, OpenAI Agents SDK или может быть подключен к любому хосту MCP через прокси-скрипт
- В README четко описаны модель угроз и ограничения, приложены воспроизводимые результаты по каждой ячейке для AgentDojo
Использование
- Код: https://github.com/saintmachines/spillway(Apache-2.0)
- После установки
pip install spillway-guardоберните задачу с помощьюGuard(user\_task=…), используйтеobserve\_tool\_returnдля записи возвращаемых значений инструментов иcheck\_callдля проверки каждого вызова; возвращаемые значения инструментов должны быть объявлены с помощью моделей Pydantic, а адреса получателей и т.п. должны находиться в объявленных полях
Риски
- Для каждого набора инструментов необходимо сначала объявить, какие параметры являются целевыми; необъявленные имена параметров не проверяются; правила делегирования и проверка являются мишенями для адаптивных атакующих
- Нулевая утечка данных достигается только в условиях базовых тестов, описанных в статье; в README указано, что в публичной оценке PISmith успешность атак не равна нулю
- Результаты предоставлены авторами; в данном случае тесты не запускались