AutoTrust-JEV-27B v1.1 : un modèle de décision qui ne répond qu'aux questions à choix multiples

Le modèle de décision textuel de 270 milliards de paramètres v1.1, publié par AutoTrust Labs (nommé AutoTrust-JEV-27B v1.1 dans la fiche du modèle), est construit, selon la déclaration amont jointe au dépôt, sur d3 (Decision 3.0) de l'équipe vLLM Semantic Router, avec Qwen3.8-27B comme base. Il ne génère pas de réponses libres : la question et les options candidates sont soumises dans un format fixe, le modèle ne produit qu'un seul token limité aux codes des options, puis le moteur convertit les log-probabilités en probabilités pour chaque option ; il ne prend en charge que les questions à choix unique et les questions vrai/faux, et n'accepte que des entrées textuelles. Bien que le nom du dépôt mentionne Vision, la fiche du modèle précise que l'entrée est uniquement textuelle.

Question originale : autotrust/AutoTrust-Decider-Pro-Vision-27B-v1.1

Le modèle de décision textuel de 270 milliards de paramètres v1.1, publié par AutoTrust Labs (nommé AutoTrust-JEV-27B v1.1 dans la fiche du modèle), est construit, selon la déclaration amont jointe au dépôt, sur d3 (Decision 3.0) de l'équipe vLLM Semantic Router, avec Qwen3.8-27B comme base. Il ne génère pas de réponses libres : la question et les options candidates sont soumises dans un format fixe, le modèle ne produit qu'un seul token limité aux codes des options, puis le moteur convertit les log-probabilités en probabilités pour chaque option ; il ne prend en charge que les questions à choix unique et les questions vrai/faux, et n'accepte que des entrées textuelles. Bien que le nom du dépôt mentionne Vision, la fiche du modèle précise que l'entrée est uniquement textuelle.

Pourquoi c'est important Pour la sélection d'outils par les agents, la classification d'intentions ou la décision d'appeler une interface, il ne lit qu'un code d'option et ne génère pas de long raisonnement

Score en hausse 112 · J'aime 1561 · Téléchargements 151462

Raisons

  • Les auteurs affirment un score public de 67.31 sur la suite publique Decision Index 0.3 (37 benchmarks, 140,178 requêtes scorables), avec le domaine Outils et Automatisation obtenant le score le plus élevé parmi les cinq domaines, soit 85.19 points de compétence
  • Dans les scores détaillés, la classification d'intentions CLINC150+OOS, la sélection d'outils BFCL et la classification d'intentions bancaires BANKING77 sont toutes supérieures à 93 ; comparé au JEV-27B dans le même tableau, la plupart des benchmarks sont plus élevés, mais les questions de raisonnement comme MMLU-Pro, GPQA Diamond et HLE restent inférieures à celles de Jev 1.14
  • Les résultats d'évaluation et les archives de scores se trouvent dans le jeu de données autotrust/jev-decision-index-results, permettant une vérification croisée

Utilisation

  • Installez vllm==0.31.0, transformers==5.17.0 et la version fixe du paquet StartLux-Decision indiquée dans la fiche du modèle ; après le téléchargement du modèle, lancez le service avec serve_vllm.sh du dépôt (réglez MAX_LEN=32768 pour les cartes graphiques de 80 Go)
  • Le point d'entrée vLLM n'est pas lui-même une interface de décision : il faut utiliser jev_vllm_engine.py du dépôt pour formater la question selon le format de jev_format.py, puis convertir les log-probabilités des codes d'options en probabilités pour chaque option
  • Une fois la suite d'évaluation Decision Index installée, vous pouvez relancer l'évaluation avec python -m decision_index run --engine jev_vllm_engine:JevVllmEngine ; la commande de téléchargement dans la fiche du modèle utilise l'ancien nom AutoTrust-JEV-27B-v1.1, et Hugging Face redirigera vers ce dépôt

Risques

  • Les scores sont des résultats auto-déclarés obtenus localement par les auteurs sur une NVIDIA B300 ; la fiche du modèle précise qu'ils restent à valider par les mainteneurs du classement et qu'aucun score privé ou complet n'est rapporté
  • Les auteurs rappellent que ces scores proviennent de versions adaptées des tâches, ne reflètent pas la fiabilité en conditions réelles et n'indiquent pas que les probabilités sont calibrées ; avant toute décision à haut risque, validez avec vos propres données ; HLE est proche du niveau aléatoire
  • Dépendances sur des versions fixes de vLLM et du plugin StartLux (lecture bidirectionnelle de l'intégralité du prompt, désactivation du cache de préfixe, etc.) ; changer de framework d'inférence peut donner des résultats différents ; cette entrée n'a pas été exécutée

Ouvrir

Hugging Face Trending

Parcourir les dernières actualités IA