WikiTrace: привязка исходных траекторий к памяти агентов с проверкой перед использованием

Обобщение опыта из прошлых задач для применения в новых — распространённый метод самоусовершенствования агентов. Однако если опыт обобщается только по принципу «успех / неудача» и не сопровождается исходной траекторией, агент не может его проверить. В результате он иногда следует ошибочному опыту или неверно использует верный, что приводит к провалу задач, которые он решал бы правильно без использования памяти (в статье это называется «деградацией, вызванной памятью»). WikiTrace сохраняет каждый пункт опыта в виде краткого тезиса и связывает его с резюме причин успеха или неудачи конкретного запуска и с исходной траекторией. При начале новой задачи агент получает все тезисы; если он сталкивается с тезисами, содержащими недостаточно деталей, противоречиями или полученными из неудачных запусков, он использует терминальные инструменты для перехода по ссылкам к исходным записям, корректирует понимание и только затем действует. Авторы провели оценку на наборах ALFWorld, ScienceWorld, PlanCraft, τ³-bench Retail и AppWorld, утверждая, что метод превосходит существующие подходы к памяти во всех 8 тестовых наборах и демонстрирует наименьший уровень деградации.

Оригинальное название: Don't Just Trust Your Memory: Evidence-Linked Memory Reduces Memory-Induced Degradation in LLM Agents

Обобщение опыта из прошлых задач для применения в новых — распространённый метод самоусовершенствования агентов. Однако если опыт обобщается только по принципу «успех / неудача» и не сопровождается исходной траекторией, агент не может его проверить. В результате он иногда следует ошибочному опыту или неверно использует верный, что приводит к провалу задач, которые он решал бы правильно без использования памяти (в статье это называется «деградацией, вызванной памятью»). WikiTrace сохраняет каждый пункт опыта в виде краткого тезиса и связывает его с резюме причин успеха или неудачи конкретного запуска и с исходной траекторией. При начале новой задачи агент получает все тезисы; если он сталкивается с тезисами, содержащими недостаточно деталей, противоречиями или полученными из неудачных запусков, он использует терминальные инструменты для перехода по ссылкам к исходным записям, корректирует понимание и только затем действует. Авторы провели оценку на наборах ALFWorld, ScienceWorld, PlanCraft, τ³-bench Retail и AppWorld, утверждая, что метод превосходит существующие подходы к памяти во всех 8 тестовых наборах и демонстрирует наименьший уровень деградации.

Почему это важно Внешняя память иногда заставляет агентов ошибаться в задачах, которые они иначе решили бы правильно; возможность вернуться к источникам позволяет меньше подвергаться влиянию ошибочного опыта

Лайков 49 · Звёзд в коде 7

Обоснование

  • Для проблемы «чем больше памяти, тем больше ошибок» при длительной работе агентов предложены количественные метрики: прирост (задача изначально не решалась, но решена с использованием памяти) и деградация (задача изначально решалась, но провалена с использованием памяти)
  • Код разделяет создание памяти, запуск методов и сравнительный анализ на три команды, что позволяет интегрировать и сравнивать собственные методы работы с памятью

Использование

  • Код: https://github.com/yukyeongleee/wikitrace;需要 Python 3.11, uv, Node 20 и Docker; в файле .env необходимо указать ключ API OpenRouter
  • uv run wikitrace build — создание памяти → uv run wikitrace run --method wikitrace — тестирование → uv run wikitrace analyze — сравнительный анализ

Риски

  • Для воспроизведения результатов требуется вызывать модели через OpenRouter и запускать несколько бенчмарков в песочнице Docker, что влечёт расходы на API
  • Это метод и фреймворк для оценки, а не плагин, который можно напрямую установить в существующие продукты с агентами; в данной публикации запуск не выполнялся

Открыть · Код · Страница статьи на Hugging Face

Hugging Face Daily Papers

Открыть последние новости ИИ