SingProbe là một đầu dò attention được nhúng bên trong DeepSeek-V4.1-Flash-1017, đọc trạng thái ẩn từ các lớp 12, 25 và 39, cung cấp điểm số theo từng token trong quá trình sinh văn bản cho 8 loại ý định câu hỏi, mức độ không an toàn của câu trả lời và rủi ro ảo giác. Thẻ mô hình cho biết điểm F1 của phân loại ý định câu hỏi là 0.8756, điểm F1 của phân loại an toàn câu trả lời là 0.8668, AUC cấp câu trả lời cho an toàn khi truyền trực tiếp là 0.9907, AUC phát hiện ảo giác là 0.7951, gần tương đương với 0.8000 của phương pháp đối chứng DRIFT; xem báo cáo kỹ thuật và kho lưu trữ SingProbe để biết phương pháp và mã huấn luyện.
Tại sao quan trọng Đầu dò đọc trực tiếp trạng thái ẩn bên trong mô hình, với số lượng tham số rất nhỏ, không cần chạy riêng một mô hình hàng rào bảo vệ; các tác giả tuyên bố rằng kết quả phân loại an toàn ở nhiều hạng mục tương đương hoặc tốt hơn so với các mô hình hàng rào bảo vệ chuyên dụng cỡ 8B.
Điểm tăng 2 · Lượt thích 2 · Lượt tải xuống 0
Lý do
- Giấy phép MIT, tải lên vào ngày 19 tháng 11; kèm theo báo cáo kỹ thuật arXiv và kho lưu trữ mã huấn luyện
- Thẻ mô hình liệt kê các cơ sở đối chứng (Qwen3Guard, YuFeng-XGuard, v.v.) và ngưỡng cho phép khi phát hành
Cách sử dụng
- Yêu cầu nhánh SGLang có chức năng token-probe và 8 GPU H20: khi khởi động, sử dụng --probe-ckpt để chỉ đến kho lưu trữ này, đọc điểm số từ meta_info.token_probe_probs được trả về bởi /generate, trong đó label_8 là mức độ không an toàn của câu trả lời, label_9 là rủi ro ảo giác
Rủi ro
- Nhánh SGLang được chỉ định để bắt đầu nhanh được lưu trữ trên code.alipay.com, khả năng truy cập từ bên ngoài chưa rõ, và các lệnh ví dụ cũng sử dụng đường dẫn nội bộ của tác giả
- Các con số đánh giá đều do tác giả tự báo cáo; chỉ tương thích với phiên bản 1017 này