WikiTrace:给智能体记忆挂上原始轨迹,用前先核对

让智能体从过去任务里总结经验再用到新任务,是常见的自我提升办法,但经验只按“成功 / 失败”归纳出来,又不附原始轨迹,智能体无从核对,结果有时照着错误经验做、或误用了正确经验,反而在不用记忆时能做对的任务上失败(论文称为“记忆导致的退化”)。WikiTrace 把每条经验存成简短要点,并链接到那次运行成败原因的总结和原始轨迹;新任务开始时智能体拿到全部要点,遇到缺细节、互相矛盾或来自失败运行的要点,就用终端工具顺着链接查原始记录,修正后再行动。作者在 ALFWorld、ScienceWorld、PlanCraft、τ³-bench 零售、AppWorld 上评测,称它在全部 8 个测试套件上都优于已有记忆方法,退化率最低。

原题:Don't Just Trust Your Memory: Evidence-Linked Memory Reduces Memory-Induced Degradation in LLM Agents

让智能体从过去任务里总结经验再用到新任务,是常见的自我提升办法,但经验只按“成功 / 失败”归纳出来,又不附原始轨迹,智能体无从核对,结果有时照着错误经验做、或误用了正确经验,反而在不用记忆时能做对的任务上失败(论文称为“记忆导致的退化”)。WikiTrace 把每条经验存成简短要点,并链接到那次运行成败原因的总结和原始轨迹;新任务开始时智能体拿到全部要点,遇到缺细节、互相矛盾或来自失败运行的要点,就用终端工具顺着链接查原始记录,修正后再行动。作者在 ALFWorld、ScienceWorld、PlanCraft、τ³-bench 零售、AppWorld 上评测,称它在全部 8 个测试套件上都优于已有记忆方法,退化率最低。

为什么重要 外部记忆有时让智能体把本来会做的任务做错;能回查来源,就能少被错误经验带偏

点赞 49 · 代码星数 7

理由

  • 针对智能体长期运行中“记忆越多越出错”的问题,给出可量化的指标:增益(原本失败、用记忆后做对)和退化(原本做对、用记忆后失败)
  • 代码把建记忆、跑方法、对比分析分成三条命令,可以把自己的记忆方法接进来对比

用法

  • 代码:https://github.com/yukyeongleee/wikitrace;需要 Python 3.11、uv、Node 20 和 Docker,在 .env 里填 OpenRouter API Key
  • uv run wikitrace build 建记忆 → uv run wikitrace run --method wikitrace 测试 → uv run wikitrace analyze 对比

风险

  • 复现要通过 OpenRouter 调用模型并在 Docker 沙箱里跑多个基准,有 API 费用
  • 是方法和评测框架,不是可直接装进现有智能体产品的插件;本条未运行

打开 · 代码 · 抱脸论文页

Hugging Face Daily Papers

浏览最新 AI 动态