'이중 플라이휠' 구조의 컴퓨터 조작 에이전트 학습 프레임워크입니다. 외곽 루프는 오픈 월드 코퍼스와 모델의 현재 약점을 연결하여 다음 데이터 생성 및 학습 라운드를 안내합니다. 내곽 루프는 먼저 교육 영상에서 실제 워크플로를 시드 태스크로 추출합니다(전사 텍스트의 의미적 트리거와 화면 변화의 시각적 트리거라는 두 경로를 통해 조작 궤적을 재구성함). 이후 시드를 재사용 가능한 '능력 원시(capability primitive)'로 추상화하여 수량과 난이도가 제어되고 검증기가 포함된 새로운 태스크를 조합합니다. 궤적 수집 중 실제 환경에서 오류가 발생하면 피드백에 따라 스냅샷을 롤백하고 재시도합니다. 생성된 CUA-Master-27B는 Qwen3.5-27B를 기반으로 하며, 여러 라운드의 SFT 및 RL 학습을 거쳐 순수 GUI와 GUI+CLI 혼합 조작을 모두 지원합니다.
좋아요 92 · 코드 스타 수 86
이유
- 저자는 OSWorld Verified 80.2, OSWorld 2.0 36.9, WeaveBench 43.9, Agents' Last Exam 25.0 점수를 보고했습니다. 모델 카드에는 WindowsAgentArena 56.2, MacOSWorld 43.0, MacAgentBench 59.9 점수가 별도로 명시되어 있으며, 문제당 평균 소요 시간(OSWorld Verified 약 8분)도 제시되어 있습니다.
- 가중치와 전체 데이터 파이프라인이 모두 공개되었습니다. Hugging Face의 yxl66666/CUAMaster-27B 저장소에는 영상 검색, 전사, 적합성 점수 매기기, 궤적 재구성, 태스크 합성, 샌드박스 수집부터 ms-swift SFT 데이터 변환까지 모든 명령줄 도구가 포함되어 있습니다.
- Hugging Face 당일 좋아요 순위 3위(관심도만 반영)입니다. '교육 영상에서 시드 태스크를 추출한다'는 접근 방식은 모델의 자체 경험 생성에 의존하지 않으므로, 자체 에이전트를 위한 학습 데이터를 생성하는 데 단독으로 활용할 수 있습니다.
사용법
- 설치: pip install -e ".[seeding,annotator,collection,dev]" 실행 후, cp .env.example .env를 통해 API 키와 샌드박스 서비스 주소를 입력합니다.
- 데이터 생성: python -m cuamaster.seeding.harvesting.search_cli로 교육 영상을 검색 → …harvesting.download으로 다운로드 → …transcription.transcribe로 faster-whisper를 사용해 전사 → …scoring.score로 0–5 점수 매기기 → …reconstruction.construct로 시드 궤적 재구성 순으로 진행합니다. cuamaster-synthesize로 새로운 태스크를 합성합니다.
- 궤적 수집: 먼저 cuamaster-collect --config configs/collection/mock_command.example.json을 사용하여 가상 머신 없이 스모크 테스트를 수행합니다. 정식 수집을 위해서는 SandboxProvider 인터페이스를 통해 자체 가상 머신 오케스트레이션과 연동해야 합니다. cuamaster-dataset으로 SFT 데이터를 내보냅니다.
- 모델: Hugging Face의 yxl66666/CUAMaster-27B를 사용하며, 동작 좌표는 [0,1000]로 정규화됩니다. 모델 카드에서는 샌드박스 내에서 실행하고 결과를 확인한 후 권한을 완화할 것을 권장합니다.
리스크
- 모델 카드에 라이선스가 명시되어 있지 않고 추론 배포 명령어도 제공되지 않았습니다. 코드는 pyproject에서 Apache-2.0로 표기되어 있지만 저장소 루트 디렉터리에 LICENSE 파일이 없으므로, 상업적 사용 전 저자에게 확인해야 합니다.
- 전체 프로세스가 외부 API(어노테이션 모델), 영상 다운로드 및 자체 구축한 가상 머신 샌드박스에 의존하므로 재현 비용이 높습니다. RL 부분의 README에는 태스크 검증기를 사용하여 결과에 보상을 부여한다는 내용만 있고, 즉시 사용 가능한 스크립트는 없습니다.
- 점수는 저자가 보고한 수치이며, 긴 태스크의 경우 문제당 소요 시간이 몇 분에서 1시간 이상까지 다양합니다. 에이전트가 파일을 수정하고 명령어를 실행하므로, 주 작업 머신에서 직접 실행하지 마십시오.
열기 · 코드 · Hugging Face 논문 페이지