Titre original : What Does Multi-Turn Reinforcement Learning Really Improve in LLM Agents?
Les auteurs réévaluent l'apprentissage par renforcement multi-tours pour les agents à l'aide de Pass@(K,T) — où K est la largeur d'échantillonnage et T la profondeur d'interaction (budget de tours) : les avantages de l'APR au niveau des trajectoires dépendent d'un budget de tours suffisant ; dès que le budget se resserre, ces avantages diminuent nettement, voire s'inversent. L'APR n'améliore pas de manière générale la qualité des décisions à chaque étape ; ses bénéfices se concentrent surtout sur la récupération après une erreur et sur la persévérance dans les tâches de longue durée. Pour atténuer les risques de déploiement liés à cette dépendance au budget, les auteurs discutent préliminairement des avantages et inconvénients des signaux de supervision procédurale, et proposent BudgetMix RL : lors de l'entraînement, différents groupes reçoivent des budgets de tours distincts et explicitement visibles. Les auteurs affirment que cette approche est robuste dans diverses configurations d'exécution.
J'aime 33 · Étoiles du code 16
Raisons
- Un rappel pour les équipes qui entraînent et évaluent des agents : ne pas se limiter au taux de réussite moyen. Dans les scénarios de production où le nombre de tours est limité, les bénéfices apportés par l'APR peuvent être considérablement réduits.
- L'outil est open source (licence MIT) : évaluation sous budget serré, évaluation sur préfixes d'erreurs (qui prend la meilleure décision et qui récupère le mieux, à état et budget restant identiques), dynamique d'entraînement, planification et audit de BudgetMix, ainsi que des analyses de vraisemblance / NLL et des signaux procéduraux. L'évaluation principale n'utilise que la bibliothèque standard Python et peut se connecter à vos propres points de terminaison de chat HTTP ou à des trajectoires JSONL.
- Le jour de la publication sur Hugging Face, l'article a reçu 33 likes et s'est classé 5, avec 16 étoiles sur le code (indicateur d'attention uniquement).
Utilisation
- Après un git clone https://github.com/GaryStack/Rethinking-Agent-RL, exécutez python -m pip install -e . (Python 3.11+), vérifiez l'environnement avec ard doctor --json, puis générez cinq rapports comparatifs avec ard toolkit-demo --output runs/toolkit-walkthrough (démonstration via des politiques scriptées, sans GPU, poids ni connexion réseau). Ouvrez runs/toolkit-walkthrough/index.html pour consulter les résultats.
- Pour évaluer votre propre modèle : utilisez ard eval budget et ard compare pour visualiser les taux de réussite selon différentes valeurs de K et T ; combinez ard pool errors avec ard eval step / ard eval recovery pour l'évaluation sur préfixes d'erreurs ; utilisez ard budgetmix plan / audit pour configurer l'entraînement BudgetMix (adaptateur VeRL en option).
Risques
- Les auteurs précisent que les exemples et les vérifications d'ingénierie présents dans le dépôt ne reproduisent pas les chiffres du papier. Les poids des modèles, les évaluations privées, les trajectoires brutes et les résultats expérimentaux complets ne sont pas publiés.
- BudgetMix RL est présenté par les auteurs comme une solution préliminaire ; le résumé ne fournit pas de mesure précise de l'amélioration obtenue.