inclusionAI/DeepSeek-V4.1-Flash-1017-singprobe

SingProbe 是挂在 DeepSeek-V4.1-Flash-1017 内部的注意力探针,读取第 12、25、39 层的隐藏状态,在生成过程中逐词给出 8 类提问意图、回答不安全和幻觉风险的分数。模型卡称提问意图分类 F1 为 0.8756、回答安全分类 F1 为 0.8668,流式安全的回答级 AUC 为 0.9907,幻觉检测 AUC 为 0.7951、与对照方法 DRIFT 的 0.8000 接近;方法和训练代码见技术报告与 SingProbe 仓库。

SingProbe 是挂在 DeepSeek-V4.1-Flash-1017 内部的注意力探针,读取第 12、25、39 层的隐藏状态,在生成过程中逐词给出 8 类提问意图、回答不安全和幻觉风险的分数。模型卡称提问意图分类 F1 为 0.8756、回答安全分类 F1 为 0.8668,流式安全的回答级 AUC 为 0.9907,幻觉检测 AUC 为 0.7951、与对照方法 DRIFT 的 0.8000 接近;方法和训练代码见技术报告与 SingProbe 仓库。

为什么重要 探针直接读模型内部的隐藏状态,参数量很小,不用再单独跑一个护栏模型;作者称多项安全分类成绩与 8B 级专用护栏相当或更好。

上升分 2 · 点赞 2 · 下载量 0

理由

  • MIT 许可,11 月 19 日上传;附 arXiv 技术报告和训练代码仓库
  • 模型卡列出对照基线(Qwen3Guard、YuFeng-XGuard 等)和发布时的放行阈值

用法

  • 需要带 token-probe 功能的 SGLang 分支和 8 张 H20:启动时用 --probe-ckpt 指向本仓库,从 /generate 返回的 meta_info.token_probe_probs 读分数,label_8 是回答不安全、label_9 是幻觉风险

风险

  • 快速上手指向的 SGLang 分支托管在 code.alipay.com,外部能否访问未知,示例命令里也是作者的内部路径
  • 评测数字都是作者自报;只适配 1017 这一版

打开

Hugging Face

浏览最新 AI 动态