SPILLWAY: Cổng kiểm soát hành động của tác nhân thông minh, phòng chống tấn công chèn prompt

Nhiều biện pháp phòng thủ tại thời gian chạy để mô hình ngôn ngữ lớn (LLM) quyết định có cho phép thực hiện hành động hay không, nhưng mô hình này có thể đọc phải văn bản của kẻ tấn công và còn thêm một lần gọi mô hình cho mỗi bước. Quan sát của SPILLWAY là: đích đến của hành động có thể được suy ra từ các giá trị trả về có kiểu dữ liệu (typed) của công cụ — người gửi email, tài khoản thanh toán đều nằm trong các trường có kiểu dữ liệu, trong khi các chỉ thị bị chèn lại là văn bản tự do. Cơ chế kiểm tra của nó chỉ cho phép khi mỗi giá trị đích “có trong đầu ra của công cụ nhưng không có trong nhiệm vụ của người dùng” xuất phát từ các trường có kiểu dữ liệu của công cụ chỉ đọc, hoặc được bao phủ bởi các quy tắc ủy quyền cố định; bộ làm sạch xác định (deterministic sanitizer) loại bỏ các đoạn giống chỉ thị trước khi mô hình đọc và lưu giữ chúng làm bằng chứng, còn bộ đánh giá cục bộ tùy chọn chỉ có thể khôi phục các lệnh gọi bị từ chối, chứ không thể cho phép các lệnh gọi có đích nằm trong phần văn bản đã bị loại bỏ. Các tác giả tuyên bố rằng trên ba mô hình nền tảng, trong đó một mô hình được chạy với bảy bộ nhiệm vụ, các cuộc tấn công chèn prompt theo mẫu chuẩn đều không thể hướng hành động đến đích của kẻ tấn công, đồng thời giữ được hiệu quả cao nhất; dưới sự tấn công của kẻ tấn công dùng học tăng cường, tỷ lệ tấn công thành công trung bình là .007.

Tựa đề gốc: SPILLWAY: Separating Target Admission from Sanitization to Defend Tool-Using Agents against Prompt Injection

Nhiều biện pháp phòng thủ tại thời gian chạy để mô hình ngôn ngữ lớn (LLM) quyết định có cho phép thực hiện hành động hay không, nhưng mô hình này có thể đọc phải văn bản của kẻ tấn công và còn thêm một lần gọi mô hình cho mỗi bước. Quan sát của SPILLWAY là: đích đến của hành động có thể được suy ra từ các giá trị trả về có kiểu dữ liệu (typed) của công cụ — người gửi email, tài khoản thanh toán đều nằm trong các trường có kiểu dữ liệu, trong khi các chỉ thị bị chèn lại là văn bản tự do. Cơ chế kiểm tra của nó chỉ cho phép khi mỗi giá trị đích “có trong đầu ra của công cụ nhưng không có trong nhiệm vụ của người dùng” xuất phát từ các trường có kiểu dữ liệu của công cụ chỉ đọc, hoặc được bao phủ bởi các quy tắc ủy quyền cố định; bộ làm sạch xác định (deterministic sanitizer) loại bỏ các đoạn giống chỉ thị trước khi mô hình đọc và lưu giữ chúng làm bằng chứng, còn bộ đánh giá cục bộ tùy chọn chỉ có thể khôi phục các lệnh gọi bị từ chối, chứ không thể cho phép các lệnh gọi có đích nằm trong phần văn bản đã bị loại bỏ. Các tác giả tuyên bố rằng trên ba mô hình nền tảng, trong đó một mô hình được chạy với bảy bộ nhiệm vụ, các cuộc tấn công chèn prompt theo mẫu chuẩn đều không thể hướng hành động đến đích của kẻ tấn công, đồng thời giữ được hiệu quả cao nhất; dưới sự tấn công của kẻ tấn công dùng học tăng cường, tỷ lệ tấn công thành công trung bình là .007.

Tại sao quan trọng Các tác nhân có thể gửi email, thao tác tệp và thực hiện thanh toán dễ bị tổn thương trước các chỉ thị chèn nhằm đánh cắp dữ liệu và tiền bạc; giải pháp này không dựa vào LLM để đưa ra quyết định cho phép, và hầu như không làm tăng số lần gọi mô hình

Thích 55 · Số sao mã nguồn 2

Lý do

  • Kiểm tra cho phép là thao tác tra cứu tập hợp, không gọi mô hình, kết quả từ chối vẫn nhất quán khi đổi mô hình nền tảng; bộ đánh giá cục bộ chỉ xem xét các lệnh gọi bị từ chối
  • Đã được đóng gói thành gói pip spillway-guard, có thể tích hợp với LangChain / LangGraph, OpenAI Agents SDK, hoặc sử dụng script proxy để kết nối với bất kỳ máy chủ MCP nào
  • README ghi rõ mô hình mối đe dọa và các hạn chế, kèm theo kết quả chi tiết từng ô của AgentDojo có thể tái tạo

Cách sử dụng

  • Mã nguồn: https://github.com/saintmachines/spillway(Apache-2.0)
  • Sau khi pip install spillway-guard, dùng Guard(user_task=…) để bao bọc nhiệm vụ, observe_tool_return để ghi nhận đầu ra của công cụ, check_call để kiểm tra từng lệnh gọi; đầu ra của công cụ phải được khai báo bằng mô hình Pydantic, các địa chỉ như người nhận phải nằm trong các trường đã được khai báo

Rủi ro

  • Mỗi bộ công cụ cần khai báo trước những tham số nào là đích, các tham số không được khai báo sẽ không được kiểm tra; các quy tắc ủy quyền và bộ đánh giá là những điểm mà kẻ tấn công thích ứng sẽ nhắm vào
  • Việc không có rò rỉ chỉ đúng trong các điều kiện chuẩn được thiết lập trong bài báo, README cho biết trong bộ đánh giá công khai PISmith, tỷ lệ tấn công thành công không bằng không
  • Kết quả do các tác giả báo cáo; mục này chưa được chạy thử

Mở · Mã nguồn · Trang bài báo trên Hugging Face

Hugging Face Daily Papers

Xem tin AI mới nhất