原题:HAL-X-AI/THX-02
HAL-X-AI 的“思考型决策模型”:给它一个状态(消息、工单、文档、JSON 记录、智能体轨迹、照片或图表)和用自然语言写的问题,它对每个问题的每个选项给出概率,不生成自由文本。问题分单选(最多 255 个选项)、是非和有序打分三类;一次请求最多带 4 张图。模型 4.5B 参数,另有 60M 的思考适配器:直接答案的最高概率低于阈值、且内部判断需要推理时,先写几十个词的推理笔记再决定。作者称不思考时每请求中位延迟 50 毫秒、自动思考时 79 毫秒(一张 RTX PRO 6000),在 Decision Index 0.3 公开集抽样上得 65.06。
为什么重要 工单分流、内容审核、界面操作这类判断,不用为新任务重新训练,标签直接写在请求里
上升分 48 · 点赞 50 · 下载量 2134
理由
- 演示了客服工单多语种分流、按截图一步步点按钮订机票、按画面玩贪吃蛇等用法,都没有为这些任务专门训练
- 提供无依赖的 PyPI 客户端和自建服务端,支持批量接口;安卓 Termux 上可调 API,内存足够的手机也能本地跑
- 权重 Apache-2.0
用法
- pip install "thx02[local]" 后 from thx02 import THX02; THX02.load("HAL-X-AI/THX-02"),用 model.decide(状态, 问题字典) 得到每个选项的概率
- 自建服务:thx02-serve --model . --port 8200,请求发 /v1/decide 或 /v1/decide/batch;think 设 "auto" 开启自动思考
风险
- 成绩是作者在 6,018 条抽样请求上自测,完整公开集和私有排行榜测试尚未跑;对比行里的其他模型分数取自各自公开结果
- 思考功能需要另起 GPU 推理服务,CPU 和手机上只能直接作答
- 作者提醒概率只在训练分布上校准,换到差别大的领域要先用几百条标注样本核对
- 本条未运行,效果以模型卡为准