Phyloチームは、科学的厳密性を強調するシステムプロンプトからステアリングベクトルを抽出し、第14〜18層および第20〜28層に適用しました。推論フレームワークがステアリングベクトルをサポートしていないため、これを共有エキスパートの下位投影におけるランク1のLoRAとして蒸留し、A行列のみを訓練しました(まずリッジ回帰で各トークンの強度をフィッティングし、その後ステアリング後のモデルに対して前方KLダイバージェンスを適用)。著者によれば、この手法はAA-OmniscienceおよびHalluLensにおいてハルシネーションを顕著に減少させますが、その代償として拒否応答が増加し、一部の知識ベースの質問における精度が低下します。他のベンチマークは基本的にunchangedです。また、マージ済みの完全な重みも提供されています。
なぜ重要か 著者は、モデルが科学的証拠を評価する際に過度に自信過剰になることを発見しました。このアダプターにより、モデルはより慎重になり、捏造を減らすことができます。SGLangで直接マウント可能であり、推論フレームワークを変更する必要はありません。
上昇スコア 2 · いいね 2 · ダウンロード数 58
理由
- MITライセンス。モデルカードには各ベンチマークの変化グラフと95%信頼区間が添付されており、著者の詳細な記事へのリンクも含まれています
- 著者は、マージ後にFP8へ再量子化すると一部の性能が失われることを説明しています(τ²-bench 0.82 対 アダプター 0.88)。そのため、アダプターとしてのデプロイを推奨しています
使い方
- 著者は4枚のB200上でSGLangのdev-dsv41イメージを使用してテストしました。DeepSeek-V4.1-Flash-1017と本アダプターをダウンロードし、モデルカードに記載されている完全なコマンドに従って、--enable-lora --lora-paths epistemic=/lora などのパラメータを付けて起動します。リクエスト時にはモデル名を dsv4:epistemic と指定し、思考モードを有効にしてください
リスク
- 1017バージョンのみに対応しています。公開版のvLLMはまだこのモデルのLoRAをサポートしておらず、モデルカードおよび詳細記事内の結果は著者の内部バージョンに基づいています
- モデルはより保守的になり、判断をユーザーに委ねたり、拒否応答を行ったりする頻度が増えます。デプロイには複数のデータセンターグレードのGPUが必要です