L'équipe Phylo a extrait un vecteur de direction à partir d'une invite système soulignant la rigueur scientifique, appliqué aux couches 14–18 et 20–28 ; comme le framework d'inférence ne prend pas en charge les vecteurs de direction, ils l'ont distillé en une LoRA de rang 1 sur la projection inférieure des experts partagés, en entraînant uniquement la matrice A (ajustement par régression ridge de l'intensité de chaque mot, puis divergence KL avant sur le modèle dirigé). Les auteurs affirment que cela réduit nettement les hallucinations sur AA-Omniscience et HalluLens, au prix d'un refus de réponse plus fréquent et d'une baisse de précision sur certaines questions de connaissances, tandis que les autres benchmarks restent globalement inchangés ; des poids complets fusionnés sont également disponibles.
Pourquoi c'est important Les auteurs ont constaté que le modèle faisait preuve d'un excès de confiance lors de l'évaluation des preuves scientifiques ; cet adaptateur le rend plus prudent et moins enclin à inventer des faits, et il peut être monté directement avec SGLang, sans modifier le framework d'inférence.
Score en hausse de 2 · J'aime 2 · Téléchargements 58
Raisons
- Licence MIT ; la fiche du modèle inclut des graphiques montrant les variations sur chaque benchmark et des intervalles de confiance à 95%, avec un lien vers l'article détaillé des auteurs
- Les auteurs expliquent que la fusion suivie d'une requantification en FP8 entraîne une perte partielle de performance (τ²-bench 0.82 pour l'adaptateur 0.88), ils recommandent donc un déploiement sous forme d'adaptateur
Utilisation
- Les auteurs ont testé sur 4 cartes B200 avec l'image dev-dsv41 de SGLang : téléchargez DeepSeek-V4.1-Flash-1017 et cet adaptateur, lancez-le avec les paramètres complets indiqués dans la fiche du modèle, tels que --enable-lora --lora-paths epistemic=/lora, et lors des requêtes, spécifiez le nom du modèle dsv4:epistemic en activant le mode réflexion
Risques
- Adapté uniquement à la version 1017 ; la version publique de vLLM ne prend pas encore en charge les LoRA pour ce modèle, et les résultats présentés dans la fiche du modèle et l'article détaillé proviennent de la version interne des auteurs
- Le modèle devient plus conservateur, renvoyant plus souvent la décision à l'utilisateur ou refusant de répondre ; le déploiement nécessite plusieurs cartes graphiques de niveau centre de données