THX-02:几十毫秒给选择题打概率的决策模型

HAL-X-AI 的“思考型决策模型”:给它一个状态(消息、工单、文档、JSON 记录、智能体轨迹、照片或图表)和用自然语言写的问题,它对每个问题的每个选项给出概率,不生成自由文本。问题分单选(最多 255 个选项)、是非和有序打分三类;一次请求最多带 4 张图。模型 4.5B 参数,另有 60M 的思考适配器:直接答案的最高概率低于阈值、且内部判断需要推理时,先写几十个词的推理笔记再决定。作者称不思考时每请求中位延迟 50 毫秒、自动思考时 79 毫秒(一张 RTX PRO 6000),在 Decision Index 0.3 公开集抽样上得 65.06。

原题:HAL-X-AI/THX-02

HAL-X-AI 的“思考型决策模型”:给它一个状态(消息、工单、文档、JSON 记录、智能体轨迹、照片或图表)和用自然语言写的问题,它对每个问题的每个选项给出概率,不生成自由文本。问题分单选(最多 255 个选项)、是非和有序打分三类;一次请求最多带 4 张图。模型 4.5B 参数,另有 60M 的思考适配器:直接答案的最高概率低于阈值、且内部判断需要推理时,先写几十个词的推理笔记再决定。作者称不思考时每请求中位延迟 50 毫秒、自动思考时 79 毫秒(一张 RTX PRO 6000),在 Decision Index 0.3 公开集抽样上得 65.06。

为什么重要 工单分流、内容审核、界面操作这类判断,不用为新任务重新训练,标签直接写在请求里

上升分 48 · 点赞 50 · 下载量 2134

理由

  • 演示了客服工单多语种分流、按截图一步步点按钮订机票、按画面玩贪吃蛇等用法,都没有为这些任务专门训练
  • 提供无依赖的 PyPI 客户端和自建服务端,支持批量接口;安卓 Termux 上可调 API,内存足够的手机也能本地跑
  • 权重 Apache-2.0

用法

  • pip install "thx02[local]" 后 from thx02 import THX02; THX02.load("HAL-X-AI/THX-02"),用 model.decide(状态, 问题字典) 得到每个选项的概率
  • 自建服务:thx02-serve --model . --port 8200,请求发 /v1/decide 或 /v1/decide/batch;think 设 "auto" 开启自动思考

风险

  • 成绩是作者在 6,018 条抽样请求上自测,完整公开集和私有排行榜测试尚未跑;对比行里的其他模型分数取自各自公开结果
  • 思考功能需要另起 GPU 推理服务,CPU 和手机上只能直接作答
  • 作者提醒概率只在训练分布上校准,换到差别大的领域要先用几百条标注样本核对
  • 本条未运行,效果以模型卡为准

打开

Hugging Face Trending

浏览最新 AI 动态