Phylo 团队从一段强调科学严谨的系统提示词里提取转向向量,作用在第 14–18 和 20–28 层;因为推理框架不支持转向向量,他们把它蒸馏成共享专家下投影上的秩 1 LoRA,只训练 A 矩阵(先岭回归拟合每个词的强度,再对转向后的模型做前向 KL)。作者称它在 AA-Omniscience 和 HalluLens 上明显减少幻觉,代价是拒答变多、部分知识题准确率下降,其他基准基本不变;另有合并好的完整权重。
为什么重要 作者发现模型评估科学证据时过度自信;这个适配器让它更谨慎、少编造,SGLang 能直接挂载,不必改推理框架。
上升分 2 · 点赞 2 · 下载量 58
理由
- MIT 许可;模型卡附各基准变化图和 95% 置信区间,并链接作者的长文
- 作者说明合并后再量化成 FP8 会损失部分效果(τ²-bench 0.82 对适配器的 0.88),因此推荐以适配器方式部署
用法
- 作者在 4 张 B200 上用 SGLang 的 dev-dsv41 镜像测试:下载 DeepSeek-V4.1-Flash-1017 和本适配器,按模型卡的完整命令加 --enable-lora --lora-paths epistemic=/lora 等参数启动,请求时模型名写 dsv4:epistemic 并开启思考
风险
- 只适配 1017 这一版;公开版 vLLM 暂不支持此模型的 LoRA,模型卡和长文里的结果来自作者的内部版本
- 模型会更保守,更常把决定推回给用户或拒答;部署需要多张数据中心级显卡