原題:Don't Just Trust Your Memory: Evidence-Linked Memory Reduces Memory-Induced Degradation in LLM Agents
エージェントが過去のタスクから経験を要約して新しいタスクに応用するのは一般的な自己改善手法ですが、経験が「成功/失敗」だけで要約され、元の軌跡が添付されていない場合、エージェントは検証しようがなく、結果として誤った経験に従ったり、正しい経験を誤用したりして、記憶を使わない場合は正解できたタスクで失敗することがあります(論文ではこれを「記憶による劣化」と呼びます)。WikiTrace は各経験を簡潔な要点として保存し、その実行の成否理由の要約と元の軌跡へのリンクを付与します。新しいタスク開始時にエージェントはすべての要点を受け取り、詳細が欠けている場合、矛盾がある場合、または失敗した実行由来の要点に出会った場合は、ターミナルツールを使ってリンクを辿り元の記録を確認し、修正してから行動します。著者は ALFWorld、ScienceWorld、PlanCraft、τ³-bench 小売、AppWorld で評価を行い、すべての 8 個のテストスイートにおいて既存の記憶手法より優れており、劣化率が最低であると報告しています。
なぜ重要か 外部記憶により、エージェントが本来正解できたタスクを誤って処理することがある。出典を確認できれば、誤った経験に引きずられるリスクを減らせる。
いいね 49 · コードスター数 7
理由
- エージェントの長期運用における「記憶が増えるほどエラーが増える」という問題に対し、定量化可能な指標(ゲイン:元は失敗したが記憶使用で正解したケース、劣化:元は正解したが記憶使用で失敗したケース)を提供する。
- コードでは、記憶の構築、手法の実行、比較分析が3つのコマンドに分離されており、独自の記憶手法を組み込んで比較できる。
使い方
- 環境要件:https://github.com/yukyeongleee/wikitrace;需要 Python 3.11、uv、Node 20 および Docker。OpenRouter API Key を .env ファイルに設定する。
- uv run wikitrace build で記憶を構築 → uv run wikitrace run --method wikitrace でテスト実行 → uv run wikitrace analyze で比較分析
リスク
- 再現には OpenRouter 経由でのモデル呼び出しと Docker サンドボックス内での複数ベンチマークの実行が必要であり、API コストが発生する。
- これは手法および評価フレームワークであり、既存のエージェント製品にそのまま組み込めるプラグインではない。本項目は未実行。
開く · コード · 論文ページ(Hugging Face)