원제: Agent-R^2: Scaling Agents for Realistic Productivity Work via Real-Source Data Synthesis
대규모 언어 모델 기반 에이전트가 실제 오피스 작업을 수행하는 데 여전히 어려움을 겪고 있습니다. 긴 워크플로우를 완수하고, 다양한 형식의 첨부 파일을 이해하며, 사용 가능한 결과물을 제출해야 하지만, 실제 업무와 유사한 후처리(post-training) 데이터는 부족합니다. Agent-R²은 사람이 수동으로 워크플로우를 작성하거나 대규모 언어 모델이 파일을 생성하도록 하는 대신, 실제 직업 관련 작업 시드, 코퍼스에서 추출한 워크플로우 증거, 그리고 웹에서 찾은 실제 파일을 기반으로 합니다. 1만 개의 웹 코퍼스 후보에서 다중 형식 첨부 파일과 결과물 평가 기준이 포함된 4천 개의 작업을 추출했습니다. 이 데이터를 사용하여 SFT(지도 미세 조정)와 평가 기준 기반 강화 학습을 수행한 후, 저자들은 Agent-R²-4B가 GDPval에서 51.0%, OfficeQA에서 14.8%의 성능을 기록했으며, 이는 Qwen3-235B-A22B-Thinking-2507(48.0% 및 13.8%)보다 높은 수치이며, 지름길(shortcut)을 타는 행동을 줄였다고 보고했습니다.
왜 중요한가 오피스 에이전트에는 실제 업무와 유사한 학습 데이터가 부족합니다. 이 파이프라인은 실제 파일과 워크플로우에서 작업을 생성하며, 결과물에 대한 채점 기준을 포함합니다
좋아요 3 · 코드 스타 수 7
이유
- 데이터 합성, SFT(ms-swift), 다중 라운드 GRPO 강화 학습(verl), GDPval 및 OfficeQA 평가 코드가 하나의 저장소에 포함되어 있으며, 설정은 settings.yaml에 집중되어 있습니다
- 모델 Agent-R2-4B는 Hugging Face에서 공개되었으며, Qwen3-4B-Thinking-2507을 기반으로 하며, 라이선스는 Apache-2.0입니다
사용법
- 코드: https://github.com/ZJU-REAL/Agent-R2;模型:抱脸 teng-pan/Agent-R2-4B, transformers로 로드 가능
- 재현을 위해서는 Agent-R2/settings/settings.yaml에 대규모 언어 모델 게이트웨이, Serper 검색 키 및 샌드박스 서비스를 입력해야 합니다. 평가 데이터는 openai/gdpval, databricks/officeqa에서 다운로드합니다
리스크
- 비교 대상은 대부분 이전 세대 모델입니다. GDPval 점수는 Claude-Opus-4.5, GLM-4.7 등과 여전히 뚜렷한 격차가 있습니다
- 저자의 실험은 바이두 내부 샌드박스를 사용했으며, 오픈소스 대안으로는 AIO Sandbox로 교체해야 합니다. SFT 참고 설정은 8 카드를 사용한 전체 파라미터 학습입니다. 점수는 저자가 보고한 것이며, 본 항목에서는 실행하지 않았습니다
열기 · 코드 · Hugging Face 논문 페이지