ViRA: 초고해상도 시각 에이전트로, 세부 사항을 확대하여 확인

시각 에이전트가 초고해상도 사진의 질문에 답할 때 관련 영역을 확대해야 하지만, 종종 상식에 의존하여 답변하는 경향이 있다. 최종 정답에만 보상을 주는 강화 학습은 이를 교정할 수 없는데, 추측으로 맞힌 경우와 실제로 읽고 맞힌 경우 모두 동일한 보상을 받기 때문이다. CrossRPO는 '대조 세트'를 사용하여 훈련한다: 동일한 질문에 대해 작은 증거 영역만 다르고 정답도 다른 여러 이미지를 짝지어 주며, 실제 증거를 읽어야만 모든 질문에 정답을 낼 수 있고 보상은 그룹 단위로 지급된다. 저자들은 21에서 120 메가픽셀 사진 내의 작은 물체를 편집하여 훈련 세트와 평가 세트를 구성했으며, 편집 흔적을 배제하기 위해 실제로 변화한 사진 그룹도 별도로 촬영했다. ViRA-9B와 ViRA-27B는 각각 약 3,500개의 데이터로만 훈련되었다. 저자들은 ViRA-Bench의 최고 해상도에서 그룹 전체 정답률이 63.3%이며, GRPO는 59.3%이고, 9B 버전은 동일 크기의 오픈소스 모델 중 가장 정확하다고 밝혔다.

원제: ViRA: Toward Ultra-High-Resolution Visual Agents via Cross-Input Relative Policy Optimization

시각 에이전트가 초고해상도 사진의 질문에 답할 때 관련 영역을 확대해야 하지만, 종종 상식에 의존하여 답변하는 경향이 있다. 최종 정답에만 보상을 주는 강화 학습은 이를 교정할 수 없는데, 추측으로 맞힌 경우와 실제로 읽고 맞힌 경우 모두 동일한 보상을 받기 때문이다. CrossRPO는 '대조 세트'를 사용하여 훈련한다: 동일한 질문에 대해 작은 증거 영역만 다르고 정답도 다른 여러 이미지를 짝지어 주며, 실제 증거를 읽어야만 모든 질문에 정답을 낼 수 있고 보상은 그룹 단위로 지급된다. 저자들은 21에서 120 메가픽셀 사진 내의 작은 물체를 편집하여 훈련 세트와 평가 세트를 구성했으며, 편집 흔적을 배제하기 위해 실제로 변화한 사진 그룹도 별도로 촬영했다. ViRA-9B와 ViRA-27B는 각각 약 3,500개의 데이터로만 훈련되었다. 저자들은 ViRA-Bench의 최고 해상도에서 그룹 전체 정답률이 63.3%이며, GRPO는 59.3%이고, 9B 버전은 동일 크기의 오픈소스 모델 중 가장 정확하다고 밝혔다.

왜 중요한가 초대형 사진 질문 답변은 모델이 상식으로 추측하여 맞히는 경우가 많으나, 저자들은 대형 버전이 대부분의 벤치마크에서 최고 사고 모드인 두 폐쇄형 모델을 능가한다고 주장한다

좋아요 1 · 코드 스타 수 2

이유

  • ViRA-9B(Qwen3.5-9B 기반)와 ViRA-27B(Qwen3.8-27B 기반), 그리고 평가 세트인 ViRA-Bench, ViRA-Bench-Real 및 훈련 세트인 ViRA-Train이 공개됨
  • 그룹 전체가 모두 정답이어야만 정답으로 인정되므로, 단일 이미지 정확도보다 증거 읽기와 추측 답변을 더 잘 구분함
  • 저장소에는 verl 기반의 훈련 코드, 논문 내 모든 훈련 및 어블레이션 실행 스크립트, 그리고 평가 코드가 포함됨

사용법

  • 코드: https://github.com/huawei-lin/ViRA(Apache-2.0);权重和数据在抱脸 huaweilin 계정의 ViRA 컬렉션
  • vLLM을 사용하여 huaweilin/ViRA-9B를 배포한 후, python -m vira.infer --image photo.jpg --budget 1 --question "…" 명령어로 질문할 수 있음; --budget은 첫 번째 이미지 및 각 확대 단계의 픽셀 예산을 제어함; 27B 버전의 경우 단일 80GB GPU에서는 메모리 사용량 파라미터를 높여야 함

위험 요소

  • 평가 세트의 이미지 변형은 편집으로 생성되었으며, 실제 촬영된 대조 그룹은 78개뿐임; 개방형 답변은 GPT-4o로 평가됨
  • 일부 일반 벤치마크(예: O3-Bench)에서는 여전히 두 폐쇄형 모델보다 성능이 낮음
  • 성적은 저자들이 보고한 수치이며, 본 항목에서는 실행되지 않음

열기 · 코드 · Hugging Face 논문 페이지

Hugging Face Daily Papers

최신 AI 소식 보기