잘하지 못해도 잘 가르칠 수 있다: 장거리 에이전트에서 의사결정 모델이 교사가 되다

의사결정 모델은 유형이 지정된 출력(예: 옵션 중 하나를 선택하고 각 항목의 확률을 제시)을 생성하며, 동일한 모델이 행동을 선택하는 '배우', 이미 수행된 행동을 평가하는 '심판', 또는 각 단계를 채점하여 정책을 훈련하는 '교사' 역할을 할 수 있습니다. 저자들은 ALFWorld와 WebShop에서 세 개의 의사결정 모델과 세 개의 범용 대규모 언어 모델을 비교했습니다. 배우 역할일 때, 여섯 모델 모두 더 쉬운 하위 목표에 끌려 필수 선행 단계를 무시하는 경향이 있었습니다. 반면 심판 역할로 전체 궤적을 보고 '이 단계가 도움이 되었는가'라고 질문했을 때, 동일한 모델은 이러한 핵심 단계를 식별할 수 있었으나, '과제가 성공할 것인가'라고 질문했을 때는 각 단계의 점수가 거의 동일했습니다. 저자들은 JEV를 교사로 사용할 경우, Qwen2.5-1.5B 정책의 ALFWorld 성공률이 GRPO의 72.8%에서 82.9%로, WebShop에서는 56.8%에서 71.4%로 향상되었다고 보고했습니다.

원제: Actor, Judge, or Teacher? Understanding Decision Models in Long-Horizon Agents

의사결정 모델은 유형이 지정된 출력(예: 옵션 중 하나를 선택하고 각 항목의 확률을 제시)을 생성하며, 동일한 모델이 행동을 선택하는 '배우', 이미 수행된 행동을 평가하는 '심판', 또는 각 단계를 채점하여 정책을 훈련하는 '교사' 역할을 할 수 있습니다. 저자들은 ALFWorld와 WebShop에서 세 개의 의사결정 모델과 세 개의 범용 대규모 언어 모델을 비교했습니다. 배우 역할일 때, 여섯 모델 모두 더 쉬운 하위 목표에 끌려 필수 선행 단계를 무시하는 경향이 있었습니다. 반면 심판 역할로 전체 궤적을 보고 '이 단계가 도움이 되었는가'라고 질문했을 때, 동일한 모델은 이러한 핵심 단계를 식별할 수 있었으나, '과제가 성공할 것인가'라고 질문했을 때는 각 단계의 점수가 거의 동일했습니다. 저자들은 JEV를 교사로 사용할 경우, Qwen2.5-1.5B 정책의 ALFWorld 성공률이 GRPO의 72.8%에서 82.9%로, WebShop에서는 56.8%에서 71.4%로 향상되었다고 보고했습니다.

왜 중요한가 강화학습용 채점 모델을 선택할 때는 모델 자체의 수행 능력보다 판단 정확도를 보는 것이 더 유용하며, 단계별 채점의 비용도 더 낮습니다

좋아요 29 · 코드 스타 수 41

이유

  • 바로 적용 가능한 권장 사항: 의사결정 모델은 에피소드 종료 후 각 단계를 채점하는 용도(예: 강화학습 훈련)에는 적합하지만, 온라인에서 행동을 필터링하는 용도에는 적합하지 않습니다. 먼저 기록된 궤적에서 다양한 심판 모델과 질문 방식을 비교한 후, 강화학습에 사용할 모델을 결정하는 것이 좋습니다
  • 훈련된 정책은 교사 모델이 거의 완료하지 못하는 과제에서 가장 큰 성능 향상을 보이며, 최종적으로 교사 모델을 능가합니다

사용법

  • 코드: https://github.com/ZJU-REAL/decision-agents(Apache-2.0,基于 verl-agent)
  • README에 따라 기본 환경과 WebShop 환경을 각각 설정하고, bash examples/decision_model/run_alfworld.sh 또는 run_webshop.sh를 실행하세요. TEACHER_CONTEXT(prefix / hindsight)와 TEACHER_QUESTION(progress / value)를 사용하여 채점 방식을 전환할 수 있습니다

위험 요소

  • 훈련 스크립트는 기본적으로 프로세스 내 플레이스홀더 교사를 사용하도록 설정되어 있으며, 실제 의사결정 모델을 사용하려면 Hydra 매개변수를 통해 백엔드를 직접 지정해야 합니다. 논문에서 언급된 JEV는 저장소에서 별도로 어떻게 획득하는지 설명되어 있지 않습니다
  • ALFWorld와 WebShop 두 환경 및 1.5B 정책에서만 검증되었습니다. 성능 수치는 저자들이 보고한 것이며, 본 항목에서는 실행되지 않았습니다

열기 · 코드 · 논문 페이지

Hugging Face Daily Papers

최신 AI 소식 보기