ReGE: Stronger Agents through Experience Synthesis

让智能体用自己的历次尝试变强、不更新参数:同一个模型先对任务做几次尝试,再由“教练”调用一次把这些执行记录和产物合成为一份按步骤排好的指导(具体路径、取值、命令和要避开的坑),最后由“学生”从任务初始状态重新执行一遍,按实际观察决定照做、调整还是跳过。尝试、合成、执行用的是同一个基础模型,没有更强的老师。

让智能体用自己的历次尝试变强、不更新参数:同一个模型先对任务做几次尝试,再由“教练”调用一次把这些执行记录和产物合成为一份按步骤排好的指导(具体路径、取值、命令和要避开的坑),最后由“学生”从任务初始状态重新执行一遍,按实际观察决定照做、调整还是跳过。尝试、合成、执行用的是同一个基础模型,没有更强的老师。

点赞 11 · 代码星数 0

理由

  • 作者称在 Terminal-Bench 2.0、Spider2-Lite、AndroidWorld、BrowseComp-Plus 四个基准上,相比不带指导的执行平均提升 9.9 个百分点(GPT 系)和 8.8 个百分点(Claude 系)。
  • 比直接塞历史更省:在 BrowseComp-Plus 上,合成指导所用 token 比改造后的 AggAgent 少 98.2%(GPT)和 95.5%(Claude)(作者称)。
  • README 给出成本对比:低价模型加 ReGE 在 468 个任务上平均成功率 67.4%,与更贵的模型相当,单任务成本约为其 28%(含生成尝试的费用,按标价计算,作者称)。

用法

  • 代码:github.com/TIGER-AI-Lab/ReGE(MIT,Python 3.11+),pip install -r requirements.txt;所有模型调用走 OpenAI 兼容接口,密钥写在 .env。
  • 每个基准一个流水线脚本:scripts/run_tb2.sh gpt(Terminal-Bench 2.0)、run_spider.sh、run_androidworld.sh、run_bcp.sh,最后 python scripts/summarize.py 汇总成功率;把 gpt 换成 claude 切换模型系。
  • 核心是教练提示词和指导合成,见 src/guidance_moa_experiment.py 与 src/aggregate_deliverable.py,可以搬到自己的多次重试或并行智能体流程里。

风险

  • 前提是同一任务可以重复尝试并重置到初始状态;每题要先跑 4 次尝试,总成本约为单次执行的 5 倍(README 表格),README 表 5 的 AndroidWorld 子集上低价模型加指导反而略有下降。
  • Terminal-Bench 需要 Docker,AndroidWorld 需要多台安卓模拟器,BrowseComp-Plus 需要自建向量检索服务,环境准备较重;数字均为作者报告。

打开 · 代码 · 抱脸论文页

Hugging Face Daily Papers

浏览最新 AI 动态