OpenAI công bố các biện pháp chống chưng cất, tăng cường bảo vệ chuỗi suy luận

OpenAI 11 tháng 20 đã đăng bài giới thiệu các biện pháp đối phó với chưng cất đối kháng (việc sử dụng trái phép đầu ra của mô hình để huấn luyện các mô hình khác): kiểm thử đối kháng, huấn luyện mô hình, bộ phân loại, bảo vệ ở tầng API, cùng với điều tra các hành vi trích xuất phối hợp. Trọng tâm là bảo vệ quá trình suy luận nội bộ của mô hình (chuỗi suy luận), OpenAI cho biết trong các bài kiểm tra đội đỏ thích ứng nội bộ, tỷ lệ tấn công trung bình để trích xuất nội dung suy luận từ các yêu cầu trước đó đã giảm từ 54.0% ở GPT-6 Astra với các biện pháp bảo vệ cũ xuống còn 0.2% ở GPT-6.2 Astra với các biện pháp bảo vệ mới. Theo The Decoder, tỷ lệ tấn công thành công đối với các yêu cầu đang diễn ra đã giảm từ 22.9% xuống 0.9%, OpenAI cấm hàng nghìn đến hàng chục nghìn tài khoản mỗi tuần, một số cải tiến cũng sẽ được áp dụng cho GPT-6 Astra. OpenAI cũng công bố nghiên cứu nội bộ: các mô hình học sinh khi tiếp cận các dấu vết suy luận thô của mô hình giáo viên đã học được nhiều khả năng tấn công và phòng thủ mạng hơn so với khi chỉ xem các đầu ra công khai.

Tiêu đề gốc: Combatting adversarial distillation

OpenAI 11 tháng 20 đã đăng bài giới thiệu các biện pháp đối phó với chưng cất đối kháng (việc sử dụng trái phép đầu ra của mô hình để huấn luyện các mô hình khác): kiểm thử đối kháng, huấn luyện mô hình, bộ phân loại, bảo vệ ở tầng API, cùng với điều tra các hành vi trích xuất phối hợp. Trọng tâm là bảo vệ quá trình suy luận nội bộ của mô hình (chuỗi suy luận), OpenAI cho biết trong các bài kiểm tra đội đỏ thích ứng nội bộ, tỷ lệ tấn công trung bình để trích xuất nội dung suy luận từ các yêu cầu trước đó đã giảm từ 54.0% ở GPT-6 Astra với các biện pháp bảo vệ cũ xuống còn 0.2% ở GPT-6.2 Astra với các biện pháp bảo vệ mới. Theo The Decoder, tỷ lệ tấn công thành công đối với các yêu cầu đang diễn ra đã giảm từ 22.9% xuống 0.9%, OpenAI cấm hàng nghìn đến hàng chục nghìn tài khoản mỗi tuần, một số cải tiến cũng sẽ được áp dụng cho GPT-6 Astra. OpenAI cũng công bố nghiên cứu nội bộ: các mô hình học sinh khi tiếp cận các dấu vết suy luận thô của mô hình giáo viên đã học được nhiều khả năng tấn công và phòng thủ mạng hơn so với khi chỉ xem các đầu ra công khai.

Tại sao quan trọng Chưng cất có thể chuyển giao các khả năng tấn công và phòng thủ mạng từ các mô hình tiên phong sang các mô hình không có biện pháp bảo vệ an toàn, OpenAI đã nâng tầm các biện pháp chống chưng cất lên ngang hàng với an toàn sinh học và an ninh mạng.

Độ tin cậy: Cao · Nguồn từ OpenAI và 2 nguồn khác (bao gồm nguồn chính thức) · Thời gian sự kiện 11-20 18:00 (giờ Bắc Kinh)

Lý do

  • Bài viết chính thức của OpenAI, kèm theo dữ liệu đánh giá nội bộ
  • The Decoder đưa tin và bổ sung thông tin về các biện pháp tương tự của Anthropic

Cách sử dụng

  • Không có

Rủi ro

  • Tỷ lệ tấn công thành công dựa trên đánh giá nội bộ của OpenAI, không thể xác minh độc lập từ bên ngoài

Mở · The Decoder

OpenAI

Xem tin AI mới nhất