WikiTrace: 에이전트 기억에 원본 궤적을 연결하고, 사용 전 검증

에이전트가 과거 작업에서 경험을 요약해 새로운 작업에 적용하는 것은 일반적인 자기 개선 방법이지만, 경험이 단순히 '성공/실패'로만 귀결되고 원본 궤적이 첨부되지 않으면 에이전트는 이를 검증할 수 없어 잘못된 경험에 따라 행동하거나 올바른 경험을 오용하는 경우가 발생합니다. 그 결과 기억을 사용하지 않았을 때는 성공했을 작업에서 실패하는 현상(논문에서는 '기억으로 인한 성능 저하'라고 명명)이 나타나기도 합니다. WikiTrace는 각 경험을 간결한 요점으로 저장하고, 해당 실행의 성패 원인 요약 및 원본 궤적에 링크를 연결합니다. 새로운 작업 시작 시 에이전트는 모든 요점을 받으며, 세부 정보가 부족하거나 서로 모순되거나 실패한 실행에서 나온 요점을 만나면 터미널 도구를 통해 링크를 따라 원본 기록을 조회하고 수정 후 행동합니다. 저자들은 ALFWorld, ScienceWorld, PlanCraft, τ³-bench 리테일, AppWorld에서 평가했으며, 모든 8개 테스트 스위트에서 기존 기억 방법보다 우수하고 성능 저하율이 가장 낮다고 보고했습니다.

원제: Don't Just Trust Your Memory: Evidence-Linked Memory Reduces Memory-Induced Degradation in LLM Agents

에이전트가 과거 작업에서 경험을 요약해 새로운 작업에 적용하는 것은 일반적인 자기 개선 방법이지만, 경험이 단순히 '성공/실패'로만 귀결되고 원본 궤적이 첨부되지 않으면 에이전트는 이를 검증할 수 없어 잘못된 경험에 따라 행동하거나 올바른 경험을 오용하는 경우가 발생합니다. 그 결과 기억을 사용하지 않았을 때는 성공했을 작업에서 실패하는 현상(논문에서는 '기억으로 인한 성능 저하'라고 명명)이 나타나기도 합니다. WikiTrace는 각 경험을 간결한 요점으로 저장하고, 해당 실행의 성패 원인 요약 및 원본 궤적에 링크를 연결합니다. 새로운 작업 시작 시 에이전트는 모든 요점을 받으며, 세부 정보가 부족하거나 서로 모순되거나 실패한 실행에서 나온 요점을 만나면 터미널 도구를 통해 링크를 따라 원본 기록을 조회하고 수정 후 행동합니다. 저자들은 ALFWorld, ScienceWorld, PlanCraft, τ³-bench 리테일, AppWorld에서 평가했으며, 모든 8개 테스트 스위트에서 기존 기억 방법보다 우수하고 성능 저하율이 가장 낮다고 보고했습니다.

왜 중요한가 외부 기억이 때로는 에이전트가 원래 잘할 수 있었던 작업을 실수하게 만듭니다. 출처를 재확인할 수 있다면 잘못된 경험에 의해 오도되는 상황을 줄일 수 있습니다.

좋아요 49 · 코드 스타 수 7

이유

  • 에이전트의 장기 운영 중 '기억이 많을수록 오류가 늘어난다'는 문제를 해결하기 위해 정량적 지표를 제시합니다: 이득(원래 실패했으나 기억 사용 후 성공)과 저하(원래 성공했으나 기억 사용 후 실패)
  • 코드는 기억 구축, 방법 실행, 비교 분석을 세 가지 명령어로 분리하여 자신의 기억 방법을 연결해 비교할 수 있도록 합니다

사용법

  • 코드: https://github.com/yukyeongleee/wikitrace;需要 Python 3.11, uv, Node 20 및 Docker 필요. .env 파일에 OpenRouter API 키를 입력합니다.
  • uv run wikitrace build로 기억 구축 → uv run wikitrace run --method wikitrace로 테스트 → uv run wikitrace analyze로 비교

리스크

  • 재현을 위해서는 OpenRouter를 통해 모델을 호출하고 Docker 샌드박스에서 여러 벤치마크를 실행해야 하므로 API 비용이 발생합니다.
  • 이는 방법론 및 평가 프레임워크이며, 기존 에이전트 제품에 바로 설치할 수 있는 플러그인이 아닙니다. 본 항목은 실행되지 않았습니다.

열기 · 코드 · 논문 페이지 보기

Hugging Face Daily Papers

최신 AI 소식 보기