Reframe: 시각 에이전트가 도구 반환 이미지를 실제로 활용하도록 재설계

시각 에이전트가 도구를 호출할 때 흔히 두 가지 문제가 발생합니다. 도구에서 반환된 이미지를 활용하지 못하거나, 도구 동작 자체가 부정확하여 후속 증류 과정에서 학습 효과가 없습니다. Reframe은 Qwen3.5-9B를 기반으로 합니다. 1단계인 GD-GRPO에서는 이미지 및 비디오 전문가를 각각 학습시키며, 위치 지정 보상을 통해 도구 동작을 감독하고, 도구 호출 후 원본 이미지를 무작위로 제거하여 모델이 반환된 관찰 결과에만 의존해 답변하도록 유도합니다. 2단계인 OG-MOPD에서는 전문가 모델을 하나의 학생 모델로 통합하며, 부적절한 도구 동작이 발생하면 표준 동작으로 대체한 후 증류를 계속 진행합니다. 두 단계 모두 작업 전용 SFT 콜드 스타트가 필요하지 않습니다. 저자들은 14개의 이미지 및 비디오 벤치마크에서 Mix-RL 및 일반 다중 교사 증류보다 성능이 우수하다고 보고했으며, 이미지 평균 점수가 기본 모델의 63.46에서 69.48으로 향상되었습니다.

원제: Reframe: Observation-Aligned Multi-Teacher On-Policy Distillation for Agentic Visual Reasoning

시각 에이전트가 도구를 호출할 때 흔히 두 가지 문제가 발생합니다. 도구에서 반환된 이미지를 활용하지 못하거나, 도구 동작 자체가 부정확하여 후속 증류 과정에서 학습 효과가 없습니다. Reframe은 Qwen3.5-9B를 기반으로 합니다. 1단계인 GD-GRPO에서는 이미지 및 비디오 전문가를 각각 학습시키며, 위치 지정 보상을 통해 도구 동작을 감독하고, 도구 호출 후 원본 이미지를 무작위로 제거하여 모델이 반환된 관찰 결과에만 의존해 답변하도록 유도합니다. 2단계인 OG-MOPD에서는 전문가 모델을 하나의 학생 모델로 통합하며, 부적절한 도구 동작이 발생하면 표준 동작으로 대체한 후 증류를 계속 진행합니다. 두 단계 모두 작업 전용 SFT 콜드 스타트가 필요하지 않습니다. 저자들은 14개의 이미지 및 비디오 벤치마크에서 Mix-RL 및 일반 다중 교사 증류보다 성능이 우수하다고 보고했으며, 이미지 평균 점수가 기본 모델의 63.46에서 69.48으로 향상되었습니다.

왜 중요한가 고해상도 이미지나 긴 영상을 볼 때는 확대하거나 클립을 잘라내는 작업이 자주 필요합니다. 이 방법은 모델이 도구를 호출하는 것뿐만 아니라 반환된 결과를 활용하는 능력까지 갖추게 하며, 가중치와 데이터가 모두 공개되어 있습니다

좋아요 38 · 코드 스타 수 31

이유

  • '세부 사항 확대', '클립 찾기'가 필요한 고해상도 이미지 및 긴 비디오 질문 답변 작업에 특화됨
  • 추론 시 두 개의 도구만 사용하며, 전문가 교사나 위치 지정 주석이 필요 없음
  • 코드, 9B 가중치 및 Reframe-100K 학습 데이터가 모두 공개되어 있으며, 두 단계 학습 스크립트와 14개 벤치마크 평가가 포함됨

사용법

  • 코드: https://github.com/EliYuan30/Reframe;权重:抱脸 EliYuan00/Reframe; 데이터: EliYuan00/Reframe-100K
  • hf download로 모델을 다운로드한 후, python inference/run.py --model <경로> --visual <이미지> --question <질문> 명령어를 사용하여 예제를 실행

리스크

  • DeepEyes, Thyme 등 기존 모델과의 비교는 저자들이 통일된 설정에서 자체적으로 수행한 테스트임
  • 학습은 ms-swift 프레임워크를 기반으로 하며, 재현을 위해서는 다중 GPU 강화 학습 환경이 필요함
  • 이 항목은 실행되지 않음

열기 · 코드 · 논문 페이지

Hugging Face Daily Papers

최신 AI 소식 보기