原题:autotrust/AutoTrust-Decider-Pro-Vision-27B-v1.1
AutoTrust Labs 发布的 270 亿参数文本决策模型 v1.1(模型卡里的名字是 AutoTrust-JEV-27B v1.1),仓库附带的上游声明写明它建立在 vLLM Semantic Router 团队的 d3(Decision 3.0)之上,底座是 Qwen3.8-27B。它不写自由回答:问题连同候选选项按固定格式送入,模型只输出一个限定在选项代码里的 token,引擎再把对数概率换算成各选项的概率;只支持单选题和是 / 否题,只接受文本输入。仓库名带 Vision,但模型卡写明输入只有文本。
为什么重要 给智能体做工具选择、意图分类、要不要调用接口这类判断,只读出一个选项代码,不生成长篇推理
上升分 112 · 点赞 1561 · 下载量 151462
理由
- 作者称在 Decision Index 0.3 公开套件上公开指数 67.31(37 个基准、140,178 个可计分请求),五个领域中工具与自动化最高,为 85.19 技能分
- 逐项分数里 CLINC150+OOS 意图分类、BFCL 工具选择、BANKING77 银行意图分类都在 93 以上;同表与 JEV-27B 相比多数基准更高,但 MMLU-Pro、GPQA Diamond、HLE 等推理题仍低于 Jev 1.14
- 评测结果和分数存档在数据集 autotrust/jev-decision-index-results,可以对照复核
用法
- pip install vllm==0.31.0 transformers==5.17.0 和模型卡给出的固定版本 StartLux-Decision 包,下载模型后用仓库里的 serve_vllm.sh 起服务(80GB 显卡设 MAX_LEN=32768)
- vLLM 端点本身不是决策接口:要通过仓库里的 jev_vllm_engine.py 按 jev_format.py 的格式拼题,取选项代码的对数概率换成各选项概率
- 装好 Decision Index 评测套件后,可用 python -m decision_index run --engine jev_vllm_engine:JevVllmEngine 复跑评测;模型卡里的下载命令用旧名 AutoTrust-JEV-27B-v1.1,抱脸会跳转到本仓库
风险
- 成绩是作者在一张 NVIDIA B300 上本地跑出的自报结果,模型卡写明仍待榜单维护者核验,也没有报告私有或完整分数
- 作者提醒这些分数来自任务改编版,不代表真实场景可靠,也不说明概率已校准;用于高风险决策前要拿自己的数据验证;HLE 接近随机水平
- 依赖固定版本的 vLLM 和 StartLux 插件(整段提示词双向读取、关闭前缀缓存等),换推理框架结果可能不同;本条未运行