做不好也能教得好:决策模型在长程智能体里当老师

决策模型给出带类型的输出(例如在选项里选一个并给出各项概率),同一个模型可以当“演员”选动作、当“裁判”评估已做的动作,或当“老师”给每步打分训练策略。作者在 ALFWorld 和 WebShop 上比较了三个决策模型和三个通用大模型。当演员时,六个模型都会被更容易的子目标吸引,忽略必须先完成的那一步;当裁判、看完整条轨迹并被问“这一步有没有帮助”时,同样的模型能认出这些关键步骤,而问“任务会不会成功”时每步得分几乎一样。作者称用 JEV 当老师,Qwen2.5-1.5B 策略在 ALFWorld 上的成功率从 GRPO 的 72.8% 提到 82.9%,WebShop 从 56.8% 提到 71.4%。

原题:Actor, Judge, or Teacher? Understanding Decision Models in Long-Horizon Agents

决策模型给出带类型的输出(例如在选项里选一个并给出各项概率),同一个模型可以当“演员”选动作、当“裁判”评估已做的动作,或当“老师”给每步打分训练策略。作者在 ALFWorld 和 WebShop 上比较了三个决策模型和三个通用大模型。当演员时,六个模型都会被更容易的子目标吸引,忽略必须先完成的那一步;当裁判、看完整条轨迹并被问“这一步有没有帮助”时,同样的模型能认出这些关键步骤,而问“任务会不会成功”时每步得分几乎一样。作者称用 JEV 当老师,Qwen2.5-1.5B 策略在 ALFWorld 上的成功率从 GRPO 的 72.8% 提到 82.9%,WebShop 从 56.8% 提到 71.4%。

为什么重要 给强化学习选打分模型时,看它判断得准不准比看它自己做得好不好更有用,逐步打分的成本也更低

点赞 29 · 代码星数 41

理由

  • 给出可直接照做的建议:决策模型适合在一局结束后给每步打分(如强化学习训练),不适合在线过滤动作;可以先在录好的轨迹上比较不同裁判和问法,再决定用哪个跑强化学习
  • 训练出的策略在老师自己很少完成的任务上提升最大,最终超过老师

用法

  • 代码:https://github.com/ZJU-REAL/decision-agents(Apache-2.0,基于 verl-agent)
  • 按 README 分别建基础环境和 WebShop 环境,运行 bash examples/decision_model/run_alfworld.sh 或 run_webshop.sh;用 TEACHER_CONTEXT(prefix / hindsight)和 TEACHER_QUESTION(progress / value)切换打分方式

风险

  • 训练脚本默认接的是进程内占位老师,要用真实决策模型需自己通过 Hydra 参数指定后端;论文里的 JEV 在仓库中没有单独说明如何获取
  • 只在 ALFWorld、WebShop 两个环境和 1.5B 策略上验证;成绩为作者报告,本条未运行

打开 · 代码 · 抱脸论文页

Hugging Face Daily Papers

浏览最新 AI 动态