WikiTrace: Gắn vết tích gốc vào bộ nhớ của tác nhân, kiểm tra trước khi dùng

Việc để tác nhân rút kinh nghiệm từ các nhiệm vụ trước và áp dụng vào nhiệm vụ mới là một phương pháp tự cải thiện phổ biến. Tuy nhiên, nếu kinh nghiệm chỉ được tổng hợp theo nhãn “thành công / thất bại” mà không kèm theo vết tích gốc, tác nhân không có cách nào để xác minh, dẫn đến đôi khi làm theo kinh nghiệm sai hoặc áp dụng sai kinh nghiệm đúng, khiến chúng thất bại ở những nhiệm vụ mà chúng vốn có thể làm đúng nếu không dùng bộ nhớ (bài báo gọi đây là “suy giảm do bộ nhớ”). WikiTrace lưu mỗi kinh nghiệm dưới dạng các điểm chính ngắn gọn, đồng thời liên kết chúng với bản tóm tắt nguyên nhân thành/bại của lần chạy đó và vết tích gốc. Khi bắt đầu nhiệm vụ mới, tác nhân nhận được tất cả các điểm chính; nếu gặp phải các điểm thiếu chi tiết, mâu thuẫn hoặc xuất phát từ các lần chạy thất bại, tác nhân sẽ sử dụng công cụ dòng lệnh để truy vết theo liên kết đến hồ sơ gốc, chỉnh sửa rồi mới hành động. Các tác giả đã đánh giá trên ALFWorld, ScienceWorld, PlanCraft, τ³-bench Retail và AppWorld, cho biết phương pháp này vượt trội hơn các phương pháp bộ nhớ hiện có trên tất cả 8 bộ kiểm thử, với tỷ lệ suy giảm thấp nhất.

Tựa đề gốc: Don't Just Trust Your Memory: Evidence-Linked Memory Reduces Memory-Induced Degradation in LLM Agents

Việc để tác nhân rút kinh nghiệm từ các nhiệm vụ trước và áp dụng vào nhiệm vụ mới là một phương pháp tự cải thiện phổ biến. Tuy nhiên, nếu kinh nghiệm chỉ được tổng hợp theo nhãn “thành công / thất bại” mà không kèm theo vết tích gốc, tác nhân không có cách nào để xác minh, dẫn đến đôi khi làm theo kinh nghiệm sai hoặc áp dụng sai kinh nghiệm đúng, khiến chúng thất bại ở những nhiệm vụ mà chúng vốn có thể làm đúng nếu không dùng bộ nhớ (bài báo gọi đây là “suy giảm do bộ nhớ”). WikiTrace lưu mỗi kinh nghiệm dưới dạng các điểm chính ngắn gọn, đồng thời liên kết chúng với bản tóm tắt nguyên nhân thành/bại của lần chạy đó và vết tích gốc. Khi bắt đầu nhiệm vụ mới, tác nhân nhận được tất cả các điểm chính; nếu gặp phải các điểm thiếu chi tiết, mâu thuẫn hoặc xuất phát từ các lần chạy thất bại, tác nhân sẽ sử dụng công cụ dòng lệnh để truy vết theo liên kết đến hồ sơ gốc, chỉnh sửa rồi mới hành động. Các tác giả đã đánh giá trên ALFWorld, ScienceWorld, PlanCraft, τ³-bench Retail và AppWorld, cho biết phương pháp này vượt trội hơn các phương pháp bộ nhớ hiện có trên tất cả 8 bộ kiểm thử, với tỷ lệ suy giảm thấp nhất.

Tại sao quan trọng Bộ nhớ bên ngoài đôi khi khiến tác nhân làm sai những nhiệm vụ mà chúng vốn có thể làm đúng; khả năng truy ngược về nguồn gốc giúp giảm thiểu việc bị dẫn dắt bởi các kinh nghiệm sai lầm

Thích 49 · Số sao mã nguồn 7

Lý do

  • Giải quyết vấn đề “càng nhiều bộ nhớ càng nhiều lỗi” trong quá trình vận hành dài hạn của tác nhân, bằng cách cung cấp các chỉ số định lượng: độ tăng ích (ban đầu thất bại, dùng bộ nhớ thì làm đúng) và độ suy giảm (ban đầu làm đúng, dùng bộ nhớ thì thất bại)
  • Mã nguồn tách biệt việc xây dựng bộ nhớ, chạy phương pháp và phân tích so sánh thành ba lệnh riêng biệt, cho phép tích hợp phương pháp bộ nhớ của riêng bạn để so sánh

Cách sử dụng

  • Mã: https://github.com/yukyeongleee/wikitrace;需要 Python 3.11, uv, Node 20 và Docker, điền OpenRouter API Key vào .env
  • uv run wikitrace build để xây dựng bộ nhớ → uv run wikitrace run --method wikitrace để kiểm thử → uv run wikitrace analyze để so sánh

Rủi ro

  • Việc tái hiện yêu cầu gọi mô hình qua OpenRouter và chạy nhiều bộ chuẩn trong môi trường cách ly Docker, dẫn đến chi phí API
  • Đây là một phương pháp và khung đánh giá, không phải là plugin có thể cài đặt trực tiếp vào các sản phẩm tác nhân hiện có; mục này chưa được chạy thử

Mở · Mã nguồn · Trang bài báo

Hugging Face Daily Papers

Xem tin AI mới nhất