原题:perplexity-ai/pplx-decider-v1.3
Perplexity 11 月 9 日上传,v1.2 的下一版,以 Qwen3.8-27B 为底的多模态分类模型。一个请求给一段状态(文字、JSON 或图片)和若干问题,每个问题四选一种类型:choice(1–255 个选项,返回各选项概率)、noul(是 / 否,返回为真的概率)、score(2–255 级打分,返回期望等级)和新增的 locate(从原文里摘出逐字片段,带字符位置和分数)。它不用整表词汇输出,而是一个 255 行的读出头,全注意力层对输入双向可见;温度已在留出数据上校准,存在 decision_config.json。Apache-2.0。
为什么重要 适合工单分流、内容审核、路由判断这类大批量判定;只读概率不生成文字,便于排序和设阈值,Apache 许可
上升分 27 · 点赞 92 · 下载量 1304
理由
- 默认 separate 模式每个问题单独计算,增删、调换其他问题不影响答案;isolated 模式共享一次读入更省,官方称样本上有 1.5–2.2% 的首选答案会变
- fast=True 时官方称 separate 模式快约 1.7–1.9 倍、isolated 模式快 9–18 倍,首选答案与参考实现一致率 99.4% 以上
- 官方致谢 tasksource 数据集,称大部分提升来自它;训练、评测和用例写在 Perplexity 的博客
用法
- Python 3.12+、CUDA 显卡,BF16 权重约 49 GiB 另加工作内存;snapshot_download 后把 source/src 加进 sys.path,from pplx_decider import Decider;也可 pip install ./source
- Decider.from_pretrained(checkpoint, device="cuda") 后 decide({"state": ..., "questions": {...}, "images": [...]});排序时用 decider.logits() 取 noul 的真减假差值,概率不会饱和成并列
- locate 要求纯文本状态、不带图片,每请求最多 128 个问题;图片自动缩到 1.6 MP 以内,约占 1,600 个位置;默认 max_length 32,768 token
风险
- 卡里写“仓库是私有的,需要有权限的 token”,但本条查看时仓库公开可读,以实际访问为准
- 卡里没有评测分数;普通因果推理复现不了这个检查点,必须用自带代码,v1.1 / v1.2 的提示构造也不能沿用
- 依赖概率值时官方建议用自己的流量再校准,单一温度不适合所有任务。本条未运行