Permettre aux agents de s'améliorer grâce à leurs tentatives précédentes sans mettre à jour les paramètres : le même modèle effectue plusieurs tentatives sur une tâche, puis un « entraîneur » utilise une seule invocation pour synthétiser ces traces d'exécution et ces artefacts en un guide structuré par étapes (chemins spécifiques, valeurs, commandes et pièges à éviter). Enfin, l'« élève » réexécute la tâche depuis son état initial, en décidant, selon les observations réelles, de suivre le guide, de l'ajuster ou de l'ignorer. Les tentatives, la synthèse et l'exécution utilisent le même modèle de base, sans enseignant plus puissant.
J'aime 11 · Étoiles du code 0
Raisons
- Les auteurs affirment que sur quatre benchmarks — Terminal-Bench 2.0, Spider2-Lite, AndroidWorld et BrowseComp-Plus — la méthode offre une amélioration moyenne de 9.9 points de pourcentage (modèles GPT) et de 8.8 points de pourcentage (modèles Claude) par rapport à l'exécution sans guide.
- Plus économe en tokens que l'injection directe de l'historique : sur BrowseComp-Plus, la synthèse du guide utilise 98.2% tokens de moins (GPT) et 95.5% tokens de moins (Claude) que AggAgent modifié (selon les auteurs).
- Le README fournit une comparaison des coûts : un modèle à bas prix associé à ReGE atteint un taux de réussite moyen de 67.4% sur 468 tâches, comparable à celui de modèles plus coûteux, avec un coût par tâche d'environ 28% de celui-ci (incluant le coût de génération des tentatives, calculé aux tarifs affichés, selon les auteurs).
Utilisation
- Code : github.com/TIGER-AI-Lab/ReGE (MIT, Python 3.11+), pip install -r requirements.txt ; tous les appels de modèles passent par une interface compatible OpenAI, la clé est définie dans .env.
- Un script de pipeline par benchmark : scripts/run_tb2.sh gpt (Terminal-Bench 2.0), run_spider.sh, run_androidworld.sh, run_bcp.sh, puis python scripts/summarize.py pour agréger les taux de réussite ; remplacez gpt par claude pour changer de famille de modèles.
- Le cœur réside dans le prompt de l'entraîneur et la synthèse du guide, voir src/guidance_moa_experiment.py et src/aggregate_deliverable.py, qui peuvent être intégrés à vos propres flux de travail multi-tentatives ou d'agents parallèles.
Risques
- La méthode suppose que la même tâche peut être tentée plusieurs fois et réinitialisée à son état initial ; chaque question nécessite 4 tentatives préalables, portant le coût total à environ 5 fois celui d'une exécution unique (tableau du README). Sur le sous-ensemble AndroidWorld du tableau 5 du README, l'ajout du guide à un modèle à bas prix entraîne une légère baisse des performances.
- Terminal-Bench nécessite Docker, AndroidWorld plusieurs émulateurs Android, et BrowseComp-Plus un service de recherche vectorielle auto-hébergé ; la préparation de l'environnement est lourde. Tous les chiffres sont rapportés par les auteurs.