inclusionAI/DeepSeek-V4.1-Flash-1017-singprobe

SingProbe — это встроенный в DeepSeek-V4.1-Flash-1017 проктор внимания, который считывает скрытые состояния с 12, 25 и 39 слоёв и в процессе генерации пословно выдает оценки для 8 типов намерений запроса, небезопасности ответа и риска галлюцинаций. Согласно карточке модели, F1 для классификации намерений запроса составляет 0.8756, F1 для классификации безопасности ответа — 0.8668, AUC на уровне ответа для потоковой безопасности — 0.9907, а AUC для обнаружения галлюцинаций — 0.7951, что близко к значению 0.8000 контрольного метода DRIFT; методология и обучающий код доступны в техническом отчете и репозитории SingProbe.

SingProbe — это встроенный в DeepSeek-V4.1-Flash-1017 проктор внимания, который считывает скрытые состояния с 12, 25 и 39 слоёв и в процессе генерации пословно выдает оценки для 8 типов намерений запроса, небезопасности ответа и риска галлюцинаций. Согласно карточке модели, F1 для классификации намерений запроса составляет 0.8756, F1 для классификации безопасности ответа — 0.8668, AUC на уровне ответа для потоковой безопасности — 0.9907, а AUC для обнаружения галлюцинаций — 0.7951, что близко к значению 0.8000 контрольного метода DRIFT; методология и обучающий код доступны в техническом отчете и репозитории SingProbe.

Почему это важно Проктор напрямую считывает скрытые состояния внутри модели, имеет очень мало параметров и не требует запуска отдельной модели-гардлейнера; авторы утверждают, что результаты по нескольким задачам классификации безопасности сопоставимы с результатами специализированных гардлейнеров уровня 8B или превосходят их.

Рост рейтинга 2 · Лайки 2 · Загрузки 0

Причины

  • Лицензия MIT, загружено 19 11 месяца; приложены технический отчет arXiv и репозиторий с обучающим кодом
  • В карточке модели перечислены контрольные базовые модели (Qwen3Guard, YuFeng-XGuard и др.) и пороги пропускания, установленные при релизе

Использование

  • Требуется форк SGLang с поддержкой token-probe и 8 карт H20: при запуске используйте флаг --probe-ckpt для указания на этот репозиторий, считывайте оценки из meta_info.token_probe_probs, возвращаемого эндпоинтом /generate; label_8 соответствует небезопасности ответа, а label_9 — риску галлюцинаций

Риски

  • Форк SGLang, указанный для быстрого старта, размещен на code.alipay.com; неизвестно, доступен ли он извне, а в примерах команд также используются внутренние пути авторов
  • Все метрики оценки заявлены самими авторами; поддержка реализована только для версии 1017

Открыть

Hugging Face

Открыть последние новости ИИ