Titre original : Don't Just Trust Your Memory: Evidence-Linked Memory Reduces Memory-Induced Degradation in LLM Agents
Permettre aux agents de tirer des leçons de leurs tâches passées pour les appliquer à de nouvelles tâches est une méthode courante d’auto-amélioration. Cependant, lorsque les expériences sont résumées uniquement selon le critère « succès / échec » sans être accompagnées des traces brutes, l’agent ne peut pas les vérifier. Il arrive alors qu’il suive des expériences erronées ou qu’il fasse un mauvais usage d’expériences correctes, échouant ainsi sur des tâches qu’il aurait réussies sans recourir à la mémoire (un phénomène que l’article qualifie de « dégradation induite par la mémoire »). WikiTrace stocke chaque expérience sous forme de points clés concis, liés à un résumé des causes de succès ou d’échec de l’exécution concernée ainsi qu’à la trace brute. Au début d’une nouvelle tâche, l’agent reçoit tous les points clés ; s’il rencontre des points manquant de détails, contradictoires ou issus d’exécutions échouées, il utilise des outils de terminal pour suivre les liens et consulter les enregistrements bruts, corrigeant ses hypothèses avant d’agir. Les auteurs ont évalué leur approche sur ALFWorld, ScienceWorld, PlanCraft, τ³-bench Retail et AppWorld, affirmant qu’elle surpasse les méthodes de mémoire existantes sur l’ensemble des 8 suites de tests, avec le taux de dégradation le plus faible.
Pourquoi c’est important La mémoire externe peut parfois amener les agents à échouer sur des tâches qu’ils maîtrisaient initialement ; la possibilité de vérifier les sources permet de limiter l’impact des expériences erronées
J’aime 49 · Étoiles du code 7
Raisons
- Aborde le problème de « plus de mémoire, plus d’erreurs » lors de l’exécution à long terme des agents, en proposant des métriques quantifiables : gain (échec initial, succès après utilisation de la mémoire) et dégradation (succès initial, échec après utilisation de la mémoire)
- Le code sépare la construction de la mémoire, l’exécution des méthodes et l’analyse comparative en trois commandes, permettant d’intégrer et de comparer ses propres méthodes de mémoire
Utilisation
- Code : https://github.com/yukyeongleee/wikitrace;需要 Python 3.11, uv, Node 20 et Docker, renseignez la clé API OpenRouter dans le fichier .env
- uv run wikitrace build pour créer la mémoire → uv run wikitrace run --method wikitrace pour tester → uv run wikitrace analyze pour comparer
Risques
- La reproduction nécessite d’appeler des modèles via OpenRouter et d’exécuter plusieurs benchmarks dans un bac à sable Docker, ce qui engendre des coûts API
- Il s’agit d’une méthode et d’un cadre d’évaluation, non d’un plugin directement installable dans des produits d’agents existants ; cette entrée n’a pas été exécutée