Même sans être performant, on peut bien enseigner : les modèles de décision comme enseignants dans les agents à horizon long

Les modèles de décision produisent des sorties typées (par exemple, choisir une option et fournir les probabilités de chaque choix) ; le même modèle peut agir comme « acteur » pour sélectionner des actions, comme « juge » pour évaluer les actions réalisées, ou comme « enseignant » pour noter chaque étape afin d'entraîner une politique. Les auteurs ont comparé trois modèles de décision et trois grands modèles généralistes sur ALFWorld et WebShop. En tant qu'acteurs, les six modèles sont attirés par les sous-objectifs plus faciles et ignorent l'étape qui doit être accomplie en premier ; en tant que juges, lorsqu'ils observent la trajectoire complète et qu'on leur demande « cette étape a-t-elle été utile ? », les mêmes modèles identifient ces étapes clés, alors que lorsqu'on leur demande « la tâche réussira-t-elle ? », les scores par étape sont presque identiques. Les auteurs affirment qu'en utilisant JEV comme enseignant, le taux de réussite de la politique Qwen2.5-1.5B sur ALFWorld passe de 72.8% avec GRPO à 82.9%, et sur WebShop de 56.8% à 71.4%.

Titre original : Actor, Judge, or Teacher? Understanding Decision Models in Long-Horizon Agents

Les modèles de décision produisent des sorties typées (par exemple, choisir une option et fournir les probabilités de chaque choix) ; le même modèle peut agir comme « acteur » pour sélectionner des actions, comme « juge » pour évaluer les actions réalisées, ou comme « enseignant » pour noter chaque étape afin d'entraîner une politique. Les auteurs ont comparé trois modèles de décision et trois grands modèles généralistes sur ALFWorld et WebShop. En tant qu'acteurs, les six modèles sont attirés par les sous-objectifs plus faciles et ignorent l'étape qui doit être accomplie en premier ; en tant que juges, lorsqu'ils observent la trajectoire complète et qu'on leur demande « cette étape a-t-elle été utile ? », les mêmes modèles identifient ces étapes clés, alors que lorsqu'on leur demande « la tâche réussira-t-elle ? », les scores par étape sont presque identiques. Les auteurs affirment qu'en utilisant JEV comme enseignant, le taux de réussite de la politique Qwen2.5-1.5B sur ALFWorld passe de 72.8% avec GRPO à 82.9%, et sur WebShop de 56.8% à 71.4%.

Pourquoi c'est important Lors du choix d'un modèle de notation pour l'apprentissage par renforcement, il est plus utile d'évaluer la précision de son jugement que sa propre performance, et la notation étape par étape est également moins coûteuse

J'aime 29 · Étoiles du code 41

Raisons

  • Fournit des recommandations directement applicables : les modèles de décision sont adaptés pour noter chaque étape après la fin d'un épisode (par exemple, pour l'entraînement par apprentissage par renforcement), mais ne conviennent pas au filtrage des actions en ligne ; il est possible de comparer différents juges et formulations de questions sur des trajectoires enregistrées avant de décider lequel utiliser pour l'apprentissage par renforcement
  • Les politiques entraînées montrent la plus grande amélioration sur les tâches que l'enseignant réussit rarement, finissant par dépasser l'enseignant

Utilisation

  • Code : https://github.com/ZJU-REAL/decision-agents(Apache-2.0,基于 verl-agent)
  • Suivez le README pour créer séparément l'environnement de base et l'environnement WebShop, puis exécutez bash examples/decision_model/run_alfworld.sh ou run_webshop.sh ; utilisez TEACHER_CONTEXT (prefix / hindsight) et TEACHER_QUESTION (progress / value) pour changer la méthode de notation

Risques

  • Les scripts d'entraînement utilisent par défaut un enseignant placeholder en processus interne ; pour utiliser un véritable modèle de décision, il faut spécifier le backend soi-même via les paramètres Hydra ; la façon d'obtenir JEV mentionné dans le papier n'est pas expliquée séparément dans le dépôt
  • Validé uniquement sur deux environnements, ALFWorld et WebShop, et sur une politique de 1.5B ; les résultats sont rapportés par les auteurs et n'ont pas été exécutés dans le cadre de cette entrée

Ouvrir · Code · Page du papier

Hugging Face Daily Papers

Parcourir les dernières actualités IA