마이크로소프트 Mage 팀의 4B 파라미터 컴퓨터 조작 모델: 데스크톱 스크린샷을 보고 각 단계마다 마우스와 키보드로 인터페이스를 조작(computer_use, 11가지 동작)할지, 아니면 터미널에서 셸/Python(bash)을 실행할지 스스로 결정합니다. 하나의 모델로 외부 스케줄러 없이 애플리케이션 간 데스크톱 작업을 수행합니다. Mage-VL 4B의 중간 체크포인트(Mage-ViT 및 Qwen3-4B)에서 학습되었습니다.
상승 점수 90 · 좋아요 91 · 다운로드 수 233
이유
- 공식적으로 OSWorld-Verified 점수 66.0%(문제 361개, Google Drive 유형 제외, 단계 예산 50회, 두 번의 전체 평가 평균)을 발표했으며, 그중 운영체제 관련 점수는 87.5%, 다중 애플리케이션 워크플로 점수는 62.7%입니다. 동일한 표에서 ScaleCUA-Qwen3.5-9B는 68.7, Qwen3.6-27B는 63.9, GPT-5.4-mini는 69.6이며, 인간 기준 점수는 72.4입니다.
- 역할 분담을 수행합니다: 표, 문서, 프레젠테이션과 같은 구조화된 수정은 터미널에서 openpyxl / python-pptx를 사용하여 직접 처리하고, 캔버스 편집이나 인터페이스 상태 확인 시에만 마우스를 사용합니다. 공식 데모에서는 LibreOffice Calc 작업(셀 병합, 막대 차트 추가, .xlsx 저장)을 39초, 6단계로 완료했으며, 인터페이스만 클릭하는 Qwen3.6-27B는 9분 56초, 39단계가 소요되었습니다.
- 학습 레시피가 상세히 기술되어 있습니다: 5단계로 GUI 중간 학습, GUI 에이전트 SFT, 프로그래밍/터미널 SFT, 혼합 SFT, 온라인 GRPO 강화 학습이 순차적으로 진행되며, 총 293,806개의 작업이 합성되었습니다. 공식적으로 강화 학습이 혼합 SFT보다 10.16포인트 높고, 출력 토큰 수는 25.4%만큼 적다고 합니다. 10월 30일에 모델 카드가 생성되었으며, 이전 호에서는 다루지 않았습니다.
사용법
- 서비스: 공식 Docker 이미지 xiaoyizhang/mage-vl-cowork:0.1.0(내부 SGLang 0.5.2 포함)을 사용하고, 가중치 디렉터리를 마운트하면 서비스를 시작할 수 있습니다. 또한
python -m sglang.launch_server --model-path microsoft/Mage-VL-Cowork --trust-remote-code --context-length 32768 --tool-call-parser qwen25을 직접 실행하고SGLANG_MAX_PIXELS=4000000을 설정하여 1920×1080 스크린샷의 세부 정보를 유지할 수도 있습니다. - 시스템 프롬프트는 모델 카드에 있는 MAGE_HYBRID_SYSTEM_PROMPT를 그대로 사용해야 하며, 여기에는 computer_use와 bash 두 가지 도구가 정의되어 있고 좌표는 0–999로 정규화됩니다. 모델은 각 단계마다 <think> 추론, 한 줄의 Action, <tool_call>을 출력합니다. 샘플링은 temperature 0.7, top_p 0.8, max_new_tokens 4096을 사용합니다.
- 전체 작업을 실행하려면 저장소의 osworld_eval/에 있는 MAGEHybridAgent를 연결해야 합니다: 최근 3장의 스크린샷을 유지하고, 이전 단계는 한 줄 요약으로 압축합니다. Transformers를 사용한 오프라인 추론에는 transformers>=4.57.3이 필요하며, trust_remote_code=True를 활성화해야 합니다.
리스크
- 임의의 셸 명령어와 인터페이스 조작을 실행합니다. 공식적으로 격리된 폐기 가능한 컨테이너 또는 가상 머신에서만 실행하고, 개인 키, 브라우저 쿠키 또는 클라우드 자격 증명을 마운트하지 않으며, 결제나 로그인과 같은 되돌릴 수 없는 작업 전에 인간 확인을 거치도록 요구합니다.
- 모든 점수는 공식 자체 테스트 결과이며, 66.0은 자체 하네스를 사용하고 두 번의 실행 평균을 취했습니다. 웹 작업 WebVoyager-Static의 점수 58.6는 SFT 버전의 결과로, 브라우저 전용 모델인 Fara1.5-4B(68.0)보다 낮습니다. 모델 카드에는 Linux 데스크톱(OSWorld) 점수만 포함되어 있습니다.
- 아키텍처는 사용자 정의된 llava_onevision2이므로 trust_remote_code를 활성화해야 하며, 표준 Qwen3-VL로 로드할 수 없습니다. 추론 창은 32K로 학습되었습니다. bf16 가중치는 9.48GB이며, VRAM 요구 사항은 모델 카드에 명시되지 않았습니다. 기술 보고서는 현재 GitHub에 PDF로 게시되어 있습니다.