Baseten 旗下 Base Labs 从 Qwen3.5-9B 后训练的“决策模型”:输入一段状态(文字,可带图片)和一组问题,只做一次共享前缀的预填充,就对每个问题的每个选项给出校准过的概率,可用来做工单路由、分类和护栏判断。
上升分 74 · 点赞 75 · 下载量 1344
理由
- 三种题型:是 / 否(返回 P(yes))、多选一(返回各选项概率)、有序打分(返回各级概率);训练目标在交叉熵之外加了 Brier 校准项,并训练了“我不知道”选项。
- 官方称 Jev Decision Index 0.4 得 62.65,是 15B 以下最好、208 个模型中并列第 8;在自建的 Artificial Analysis Decision Index 复刻版上 65.2,与 d1-ultra(65)持平;27B 的同门 mammoth-1 更高(71.24)。
- 训练数据 6.21M 条决策样本,其中 16.1% 是安全与弃答;全量微调语言部分、冻结视觉编码器。MIT 许可,此前各期没有收录。
用法
- 自托管:hf download baselabs/elephant-1 --local-dir elephant-1 && bash elephant-1/setup.sh,安装固定版本的 OneJev 服务运行时(打 serve.patch),需要一张 CUDA GPU 和 pytorch/pytorch:2.8.0-cuda12.8-cudnn9-devel 镜像。
- 调用:DecisionEngine("baselabs/elephant-1", device="cuda:0").decide(SystemOneRequest(state=文本, questions={...}));questions 里每题写 type(noul / choice / score)、instructions,choice 和 score 还要写 criteria。
风险
- 最长 16,384 token,超长请求直接拒绝而不是截断;语言标签只有英文。
- 官方的 Baseten 免费 API 周已在 10 月 27 日结束;两个指数中有一个是官方自己复刻的版本。
- 不是标准 Transformers 推理,要运行仓库里的 setup.sh 和补丁。