Mage-VL-Cowork: Microsoft 4B 컴퓨터 조작 에이전트, 클릭도 하고 코드도 작성함

Microsoft Mage 팀이 Mage-VL 4B 중간 체크포인트에서 학습한 컴퓨터 조작 에이전트(Mage-ViT 비주얼 인코더 + Qwen3-4B). 하나의 모델 내에 두 가지 액션 채널이 존재한다: computer_use는 스크린샷을 보고 마우스 클릭 및 키보드 입력을 수행하고, bash는 명령어 실행 및 Python을 통한 파일 처리를 담당하며, 각 단계에서 모델이 스스로 채널을 선택하므로 외부 스케줄러가 필요 없다. 학습은 5단계로 나뉘며, 먼저 UI 위치 지정, UI 조작, 터미널 프로그래밍을 각각 연습한 후 이를 통합하여 혼합 SFT 및 온라인 강화 학습을 수행한다. 공식적으로 OSWorld-Verified(50 스텝 예산)에서 66.0%를 기록했으며, 이는 4B 규모에서의 최고 성적이다. 온라인 강화 학습은 혼합 SFT 대비 10.16 퍼센트 포인트 향상되었으며, 동시에 호출 횟수와 출력 길이를 줄였다.

원제: microsoft/Mage-VL-Cowork

Microsoft Mage 팀이 Mage-VL 4B 중간 체크포인트에서 학습한 컴퓨터 조작 에이전트(Mage-ViT 비주얼 인코더 + Qwen3-4B). 하나의 모델 내에 두 가지 액션 채널이 존재한다: computer_use는 스크린샷을 보고 마우스 클릭 및 키보드 입력을 수행하고, bash는 명령어 실행 및 Python을 통한 파일 처리를 담당하며, 각 단계에서 모델이 스스로 채널을 선택하므로 외부 스케줄러가 필요 없다. 학습은 5단계로 나뉘며, 먼저 UI 위치 지정, UI 조작, 터미널 프로그래밍을 각각 연습한 후 이를 통합하여 혼합 SFT 및 온라인 강화 학습을 수행한다. 공식적으로 OSWorld-Verified(50 스텝 예산)에서 66.0%를 기록했으며, 이는 4B 규모에서의 최고 성적이다. 온라인 강화 학습은 혼합 SFT 대비 10.16 퍼센트 포인트 향상되었으며, 동시에 호출 횟수와 출력 길이를 줄였다.

중요한 이유 소규모 모델로도 컴퓨터 조작 에이전트를 수행할 수 있으며, 파일 수정은 스크립트로, UI 변경은 클릭으로 처리하여 단계 수를 줄임

상승 점수 65 · 좋아요 217 · 다운로드 수 3714

이유

  • 표, 문서, 슬라이드 같은 구조화된 파일은 코드로 수정하고, 캔버스 편집 및 UI 실시간 상태 확인에만 스크린샷 클릭을 사용하여 단계별 마우스 클릭을 줄임
  • bf16 가중치는 약 9.48 GB이며, 공식적으로 SGLang Docker 이미지와 transformers 추론 예제를 제공함
  • 모델 카드에 학습 절차 및 작업 합성 방법(Mage-CUA-Forge)이 완전히 명시되어 있으며, 라이선스는 Apache-2.0임

사용법

  • SGLang으로 서비스를 실행하거나(trust_remote_code 필요, 컨텍스트 32,768, temperature 0.7, top_p 0.8 권장) 공식 Docker 이미지를 직접 사용함
  • 시스템 프롬프트와 두 도구의 정의는 모델 카드에 제시된 버전을 그대로 사용해야 함

리스크

  • 커스텀 아키텍처 llava_onevision2이므로 표준 Qwen3-VL로 로드할 수 없음
  • 성능 지표는 공식 자체 보고 수치이며, 모델 카드는 영어로만 표기됨
  • 모델이 컴퓨터를 직접 조작하고 셸 명령어를 실행하므로, 가상 머신이나 샌드박스 내에서 사용하는 것을 권장함
  • 본 항목은 실행되지 않았으므로, 효과는 모델 카드를 기준으로 함

열기

Hugging Face Trending

최신 AI 소식 보기