下手でも教え上手:長期的エージェントにおける意思決定モデルの教師としての役割

意思決定モデルは型付きの出力(例えば、選択肢から一つを選び、各選択肢の確率を提示する)を提供し、同じモデルが「アクター」として行動を選択したり、「ジャッジ」として実行済みの行動を評価したり、「教師」として各ステップにスコアを付けてポリシーを訓練したりできる。著者はALFWorldとWebShopにおいて、3つの意思決定モデルと3つの汎用大規模言語モデルを比較した。アクターとして機能する場合、6つのモデルすべてがより容易なサブゴールに引き寄せられ、最初に完了すべきステップを無視する傾向が見られた。一方、ジャッジとして機能し、完全な軌跡を見て「このステップは役立ったか」と問われた場合、同じモデルでもこれらの重要なステップを認識できたが、「タスクは成功するか」と問われた場合、各ステップのスコアはほぼ同じであった。著者によれば、JEVを教師として使用すると、Qwen2.5-1.5BポリシーのALFWorldにおける成功率はGRPOの72.8%から82.9%へ、WebShopでは56.8%から71.4%へ向上した。

原題:Actor, Judge, or Teacher? Understanding Decision Models in Long-Horizon Agents

意思決定モデルは型付きの出力(例えば、選択肢から一つを選び、各選択肢の確率を提示する)を提供し、同じモデルが「アクター」として行動を選択したり、「ジャッジ」として実行済みの行動を評価したり、「教師」として各ステップにスコアを付けてポリシーを訓練したりできる。著者はALFWorldとWebShopにおいて、3つの意思決定モデルと3つの汎用大規模言語モデルを比較した。アクターとして機能する場合、6つのモデルすべてがより容易なサブゴールに引き寄せられ、最初に完了すべきステップを無視する傾向が見られた。一方、ジャッジとして機能し、完全な軌跡を見て「このステップは役立ったか」と問われた場合、同じモデルでもこれらの重要なステップを認識できたが、「タスクは成功するか」と問われた場合、各ステップのスコアはほぼ同じであった。著者によれば、JEVを教師として使用すると、Qwen2.5-1.5BポリシーのALFWorldにおける成功率はGRPOの72.8%から82.9%へ、WebShopでは56.8%から71.4%へ向上した。

なぜ重要か 強化学習用のスコアリングモデルを選択する際は、そのモデル自体のパフォーマンスよりも、判断の正確性を確認する方が有用であり、ステップごとのスコアリングのコストも低い

いいね 29 · コードスター数 41

理由

  • 実行可能な推奨事項を提供する:意思決定モデルは、1エピソード終了後に各ステップへスコアを付ける用途(強化学習の訓練など)には適しているが、オンラインでの行動フィルタリングには適していない。まず記録された軌跡上で異なるジャッジや質問方法を比較し、その後、強化学習に使用するものを選択できる
  • 訓練されたポリシーは、教師モデル自体がほとんど完了できないタスクにおいて最も大きな改善を示し、最終的には教師モデルを上回る

使い方

  • コード:https://github.com/ZJU-REAL/decision-agents(Apache-2.0,基于 verl-agent)
  • READMEに従ってベース環境とWebShop環境をそれぞれ構築し、bash examples/decision_model/run_alfworld.sh または run_webshop.sh を実行する。TEACHER_CONTEXT(prefix / hindsight)とTEACHER_QUESTION(progress / value)を使用してスコアリング方法を切り替える

リスク

  • 訓練スクリプトはデフォルトでプロセス内のプレースホルダー教師に接続されており、実際の意思決定モデルを使用するにはHydraパラメータ経由でバックエンドを自分で指定する必要がある。論文で言及されているJEVの入手方法については、リポジトリに個別の説明がない
  • ALFWorldとWebShopの2つの環境、および1.5Bポリシーでのみ検証されている。成績は著者による報告であり、本記事では実行していない

開く · コード · 抱きしめたい論文ページ

Hugging Face Daily Papers

最新の AI ニュースを見る