Исходное название: Actor, Judge, or Teacher? Understanding Decision Models in Long-Horizon Agents
Модели принятия решений выдают типизированные выходные данные (например, выбирают один вариант из нескольких и указывают вероятности для каждого), при этом одна и та же модель может выступать в роли «актора», выбирающего действия, «судьи», оценивающего выполненные действия, или «учителя», выставляющего баллы каждому шагу для обучения стратегии. Авторы сравнили три модели принятия решений и три универсальные большие языковые модели на бенчмарках ALFWorld и WebShop. В роли акторов все шесть моделей отвлекались на более простые подцели, игнорируя шаги, которые необходимо выполнить первыми; в роли судей, просматривая полную траекторию и отвечая на вопрос «помог ли этот шаг», те же модели распознавали эти ключевые шаги, тогда как при ответе на вопрос «приведет ли задача к успеху» оценки за каждый шаг были практически одинаковыми. Авторы сообщают, что использование JEV в качестве учителя повысило успешность стратегии Qwen2.5-1.5B в ALFWorld с 72.8% (при использовании GRPO) до 82.9%, а в WebShop — с 56.8% до 71.4%.
Почему это важно При выборе модели для выставления оценок в обучении с подкреплением важнее смотреть на точность её суждений, чем на то, насколько хорошо она сама справляется с задачами; кроме того, пошаговая оценка обходится дешевле.
Лайков: 29 · Звёзд на GitHub: 41
Обоснование
- Даются конкретные рекомендации к действию: модели принятия решений подходят для выставления оценок каждому шагу после завершения эпизода (например, при обучении с подкреплением), но не подходят для фильтрации действий в реальном времени; сначала можно сравнить различных «судей» и формулировки вопросов на записанных траекториях, а затем решить, какую модель использовать для обучения с подкреплением.
- Обученные стратегии показывают наибольший прирост в задачах, которые учитель сам редко решал успешно, и в итоге превосходят учителя.
Использование
- Код: https://github.com/ZJU-REAL/decision-agents(Apache-2.0,基于 verl-agent)
- Согласно README, отдельно создайте базовое окружение и окружение WebShop, затем запустите bash examples/decision_model/run_alfworld.sh или run_webshop.sh; способ выставления оценок переключается с помощью переменных TEACHER_CONTEXT (prefix / hindsight) и TEACHER_QUESTION (progress / value).
Риски
- В скриптах обучения по умолчанию используется заглушка учителя внутри процесса; для использования реальной модели принятия решений необходимо самостоятельно указать бэкенд через параметры Hydra; в репозитории нет отдельного описания того, как получить модель JEV из статьи.
- Результаты проверены только на двух средах (ALFWorld и WebShop) и на стратегиях размера 1.5B; показатели приведены по данным авторов, данная статья не проводила собственных запусков.