一种给工具调用智能体造训练数据的方法:作者认为“成功的轨迹”不一定是好监督——可能漏掉多步依赖,或者包含当时看不到依据的动作。Trajectory2Gym 围绕训练集里覆盖不足的“观察—动作”组合结构去构造可执行的交互,只把在当时可见历史里有依据的决策当作监督目标,再按结构支撑度分配样本、以整段交互为单位加权做微调。
点赞 336 · 代码星数 5
理由
- 作者称在 5 个尺寸的 Qwen3 上,Tau1、Tau2、BFCL 三个基准每个尺寸都有提升,三项等权平均提高 16.9–29.8 个百分点;多轮、有状态、后面的决策依赖前面反馈的任务提升最大。
- 训练只用普通的助手 token 交叉熵,不用强化学习,复用门槛低。
- 5 个尺寸的权重和候选交互数据都已公开,可以直接拿来做工具调用底座或对照组;本期点赞 336 排第 1,只代表关注度。
用法
- 代码:github.com/yihaohu0118/Trajectory2Gym(Apache-2.0,Python 3.10+),pip install -e ".[dev]" 后可用 CPU 跑自带的回归测试和 examples/structural_support_demo.py 演示。
- 权重:抱脸 mis2/Trajectory2Gym-1.7B / 4B / 8B / 14B / 30B-A3B(模型卡标 apache-2.0),transformers 直接加载;模型卡要求用自带分词器和原生工具格式、非思考模式生成(apply_chat_template 传 enable_thinking=False)。
- 数据:抱脸数据集 mis2/Trajectory2gym,34,772 条候选交互,约 125 MB。
风险
- 1.7B / 4B / 8B 按 float32 原样存放(8B 约 32.8 GB),加载占用比常见的 BF16 版本大一倍,需要自己转精度。
- 公开数据是候选池,不是论文各尺寸实际使用的训练视图;README 明说只用这份代码无法重现论文数字。基准分数为作者报告的原实验结果,发布时未重跑。