Phylo 팀은 과학적 엄격성을 강조하는 시스템 프롬프트에서 스티어링 벡터를 추출하여 14–18 및 20–28 레이어에 적용했습니다. 추론 프레임워크가 스티어링 벡터를 지원하지 않기 때문에, 이를 공유 전문가 하단 투영(shared expert down-projection)의 랭크 1 LoRA로 증류했으며, A 행렬만 학습했습니다(먼저 릿지 회귀로 각 단어의 강도를 피팅한 후, 스티어링된 모델에 대해 전방향 KL 발산을 수행). 저자들은 이 방법이 AA-Omniscience 및 HalluLens에서 환각을 현저히 줄인다고 주장하지만, 그 대가로 거절 응답이 증가하고 일부 지식 기반 질문의 정확도가 하락하며, 다른 벤치마크는 거의 변화가 없다고 설명합니다. 또한 병합된 전체 가중치도 제공됩니다.
왜 중요한가 저자들은 모델이 과학적 증거를 평가할 때 과도하게 자신감을 보인다는 사실을 발견했습니다. 이 어댑터는 모델을 더 신중하게 만들고 환각을 줄이며, SGLang에 직접 마운트할 수 있어 추론 프레임워크를 수정할 필요가 없습니다.
상승 점수 2 · 좋아요 2 · 다운로드 수 58
이유
- MIT 라이선스; 모델 카드에는 각 벤치마크의 변화 그래프와 95% 신뢰 구간이 포함되어 있으며, 저자의 긴 글로 연결되는 링크가 있습니다
- 저자들은 병합 후 FP8로 양자화하면 일부 성능이 손실된다고 설명합니다(τ²-bench에서 어댑터 대비 0.82 대 0.88). 따라서 어댑터 방식으로 배포하는 것을 권장합니다
사용법
- 저자는 4개의 B200 GPU에서 SGLang의 dev-dsv41 미러를 사용하여 테스트했습니다: DeepSeek-V4.1-Flash-1017 및 이 어댑터를 다운로드하고, 모델 카드의 전체 명령어에 --enable-lora --lora-paths epistemic=/lora 등의 매개변수를 추가하여 시작합니다. 요청 시 모델 이름을 dsv4:epistemic으로 지정하고 사고(thinking) 기능을 활성화합니다
위험
- 1017 버전에만 적용됩니다. 공개된 vLLM은 이 모델의 LoRA를 아직 지원하지 않으며, 모델 카드와 긴 글에 제시된 결과는 저자의 내부 버전에서 나온 것입니다
- 모델이 더 보수적이 되어 결정을 사용자에게 되돌리거나 거절하는 빈도가 늘어납니다. 배포에는 여러 개의 데이터센터급 GPU가 필요합니다