SingProbe は DeepSeek-V4.1-Flash-1017 の内部に組み込まれたアテンションプローブであり、第 12、25、39 層の隠れ状態を読み取り、生成中に単語ごとに 8 種類の質問意図、回答の安全性、およびハルシネーションリスクのスコアを出力します。モデルカードによると、質問意図分類の F1 は 0.8756、回答安全性分類の F1 は 0.8668、ストリーミング安全性における回答レベルの AUC は 0.9907、ハルシネーション検出の AUC は 0.7951 で、対照手法である DRIFT の 0.8000 とほぼ同等です。手法および学習コードは技術レポートと SingProbe リポジトリを参照してください。
なぜ重要か プローブはモデル内部の隠れ状態を直接読み取り、パラメータ数が非常に小さいため、別途ガードレールモデルを実行する必要がありません。著者によれば、複数の安全性分類タスクにおいて、8B 規模の専用ガードレールモデルと同等以上の性能を発揮するとのことです。
上昇スコア 2 · いいね 2 · ダウンロード数 0
理由
- MIT ライセンス、11 月 19 日アップロード。arXiv 技術レポートと学習コードリポジトリが付属しています。
- モデルカードには対照ベースライン(Qwen3Guard、YuFeng-XGuard など)とリリース時の許容閾値が記載されています。
使い方
- token-probe 機能を備えた SGLang のブランチと 8 枚の H20 が必要です。起動時に --probe-ckpt で本リポジトリを指定し、/generate から返される meta_info.token_probe_probs からスコアを読み取ります。label_8 は回答の安全性、label_9 はハルシネーションリスクを示します。
リスク
- クイックスタートで参照されている SGLang のブランチは code.alipay.com でホストされており、外部からのアクセス可否は不明です。サンプルコマンドでも著者の内部パスが使用されています。
- 評価数値はすべて著者による自己申告です。また、1017 バージョンのみに適応されています。