Interactive Visual Gym: 시뮬레이션된 사용자 폐루프를 통한 비서 평가

사용자와 실시간으로 상호작용하며 작업을 수행하는 비서는 응답이 사용자의 다음 행동과 작업 결과에 영향을 미치므로, 오프라인 재생 방식의 벤치마크로는 측정할 수 없습니다. Interactive Visual Gym은 실행 가능한 작업 환경과 인간 사용자를 동시에 시뮬레이션합니다: 세 개의 시뮬레이터는 각각 요리(CookSim), 가사(VH-Home), 스마트폰 설정(ScreenSim)을 다루며; 시뮬레이션된 사용자는 페르소나에 따라 행동하고, 계획된 실수, 질문, 계획 변경 등의 예상치 못한 상황을 삽입합니다. 이를 기반으로 한 IVG-Bench는 315개의 상호작용 시나리오를 포함합니다. 저자들은 가장 성능이 좋은 Gemini 4 Argon조차도 시간 제한 내에 53.4%의 작업만 완료했으며, 사실적 근거와 실행 가능한 지침이 약하고, 응답 지연을 고려하면 오류를 방지하기에는 시간이 부족한 경우가 많다고 보고했습니다; 인간 연구에서는 상호작용 품질 지표와 참가자 선호도의 일치율이 78.5%였습니다.

원제: Interactive Visual Gym: Evaluating Visual Interaction Models with Simulated Users in Interactive Worlds

사용자와 실시간으로 상호작용하며 작업을 수행하는 비서는 응답이 사용자의 다음 행동과 작업 결과에 영향을 미치므로, 오프라인 재생 방식의 벤치마크로는 측정할 수 없습니다. Interactive Visual Gym은 실행 가능한 작업 환경과 인간 사용자를 동시에 시뮬레이션합니다: 세 개의 시뮬레이터는 각각 요리(CookSim), 가사(VH-Home), 스마트폰 설정(ScreenSim)을 다루며; 시뮬레이션된 사용자는 페르소나에 따라 행동하고, 계획된 실수, 질문, 계획 변경 등의 예상치 못한 상황을 삽입합니다. 이를 기반으로 한 IVG-Bench는 315개의 상호작용 시나리오를 포함합니다. 저자들은 가장 성능이 좋은 Gemini 4 Argon조차도 시간 제한 내에 53.4%의 작업만 완료했으며, 사실적 근거와 실행 가능한 지침이 약하고, 응답 지연을 고려하면 오류를 방지하기에는 시간이 부족한 경우가 많다고 보고했습니다; 인간 연구에서는 상호작용 품질 지표와 참가자 선호도의 일치율이 78.5%였습니다.

중요성 오프라인 재생 방식으로는 비서의 말이 사용자의 다음 행동에 어떤 영향을 미치는지 측정할 수 없으며, 폐루프 평가는 이러한 영향을 점수에 반영합니다

좋아요 13 · 코드 스타 수 8

이유

  • 평가와 학습 모두 가능: 저자들은 GRPO를 사용하여 요리 환경에서 Qwen3.5-4B에 대한 폐루프 학습 개념 증명을 수행했으며, 작업 성공률과 상호작용 품질이 모두 향상되었습니다
  • 사용자는 기술 수준, AI에 대한 신뢰도, 실행 속도, 방해 허용 여부를 조정할 수 있습니다; 공개 리더보드가 있으며 PR을 통해 모델 결과를 제출할 수 있습니다

사용법

  • 코드: https://github.com/SalesforceAIResearch/Interactive-Visual-Gym(Apache-2.0)
  • 세 개의 환경은 각각 독립적으로 설치되며, 각 Quickstart에 따라 한 라운드를 실행합니다; 평가 절차는 사용 사례 확인 → 라운드 실행 → 기록 확인 → 점수 매기기 → 전체 벤치마크 실행 순서입니다

리스크

  • 시뮬레이션된 사용자와 실제 인간 행동 사이에는 여전히 차이가 있습니다; 상호작용 품질의 일부는 모델에 의해 채점됩니다
  • 외부 시뮬레이터와 모델 가중치는 각각 별도의 라이선스를 따릅니다; 점수는 저자가 보고한 것이며, 이 항목에서는 실행되지 않았습니다

열기 · 코드 · 논문 페이지

Hugging Face Daily Papers

최신 AI 소식 보기