Mô hình thao tác máy tính 4B của đội ngũ Microsoft Mage: sau khi xem ảnh chụp màn hình desktop, ở mỗi bước, mô hình tự quyết định sử dụng chuột và bàn phím để thao tác giao diện (computer_use, 11 loại hành động), hoặc chạy shell / Python trong terminal (bash), cho phép một mô hình duy nhất hoàn thành các tác vụ desktop liên ứng dụng mà không cần bộ điều phối bên ngoài. Mô hình này được huấn luyện từ điểm kiểm tra trung gian của Mage-VL 4B (Mage-ViT kết hợp với Qwen3-4B).
Điểm tăng 90 · Lượt thích 91 · Lượt tải 233
Lý do
- Theo thông tin chính thức, trên bộ dữ liệu OSWorld-Verified 66.0% (gồm 361 câu hỏi, không bao gồm các loại liên quan đến Google Drive, ngân sách 50 bước, lấy trung bình từ hai lần đánh giá đầy đủ), điểm số cho các tác vụ hệ điều hành là 87.5%, và cho quy trình làm việc đa ứng dụng là 62.7%; trong cùng bảng đó, ScaleCUA-Qwen3.5-9B đạt 68.7, Qwen3.6-27B đạt 63.9, GPT-5.4-mini đạt 69.6, còn mức tham chiếu của con người là 72.4.
- Mô hình biết phân công nhiệm vụ: các chỉnh sửa có cấu trúc như bảng tính, tài liệu, bài thuyết trình được thực hiện trực tiếp trong terminal bằng openpyxl / python-pptx, còn việc chỉnh sửa trên canvas và xem trạng thái giao diện mới dùng đến chuột. Trong một demo chính thức về tác vụ LibreOffice Calc (hợp nhất các ô, thêm biểu đồ cột, lưu file .xlsx), mô hình hoàn thành trong 39 giây với 6 bước, trong khi Qwen3.6-27B (chỉ thao tác qua giao diện) mất 9 phút 56 giây và 39 bước.
- Công thức huấn luyện được mô tả đầy đủ: gồm năm giai đoạn lần lượt là huấn luyện trung gian GUI, SFT cho tác nhân GUI, SFT cho lập trình / terminal, SFT hỗn hợp và học tăng cường GRPO trực tuyến, với tổng cộng 293,806 tác vụ được tổng hợp. Theo thông tin chính thức, học tăng cường cao hơn SFT hỗn hợp 10.16 điểm phần trăm, đồng thời số lượng token đầu ra giảm đi 25.4%. Kho mô hình được tạo vào ngày 30 tháng 10, trước đó chưa được ghi nhận trong các kỳ đánh giá.
Cách sử dụng
- Dịch vụ: sử dụng image Docker chính thức xiaoyizhang/mage-vl-cowork:0.1.0 (tích hợp sẵn SGLang 0.5.2), chỉ cần mount thư mục chứa trọng số là có thể khởi động dịch vụ. Bạn cũng có thể tự chạy lệnh python -m sglang.launch_server --model-path microsoft/Mage-VL-Cowork --trust-remote-code --context-length 32768 --tool-call-parser qwen25, và đặt biến môi trường SGLANG_MAX_PIXELS=4000000 để giữ lại chi tiết của ảnh chụp màn hình kích thước 1920×1080.
- Prompt hệ thống phải được sử dụng nguyên văn từ MAGE_HYBRID_SYSTEM_PROMPT trong thẻ mô hình, trong đó định nghĩa hai công cụ là computer_use và bash, với tọa độ được chuẩn hóa về khoảng 0–999. Ở mỗi bước, mô hình xuất ra phần suy luận trong \u003cthink\u003e, một câu Action và \u003ctool_call\u003e; quá trình lấy mẫu sử dụng temperature 0.7, top_p 0.8, max_new_tokens 4096.
- Để chạy toàn bộ tác vụ, cần tích hợp MAGEHybridAgent từ thư mục osworld_eval/ trong kho mã nguồn: giữ lại 3 ảnh chụp màn hình gần nhất, các bước cũ hơn được tóm tắt thành một câu. Nếu suy luận ngoại tuyến bằng Transformers, cần phiên bản transformers\u003e=4.57.3 và bật trust_remote_code=True.
Rủi ro
- Mô hình có thể thực thi các lệnh shell tùy ý và thao tác giao diện. Nhà phát triển yêu cầu chỉ chạy mô hình trong các container hoặc máy ảo cô lập, có thể loại bỏ dễ dàng, không mount các khóa cá nhân, cookie trình duyệt hay thông tin đăng nhập đám mây, và cần xác nhận thủ công trước các thao tác không thể hoàn tác như thanh toán, đăng nhập.
- Các điểm số đều do nhà phát triển tự kiểm tra, 66.0 sử dụng harness riêng và lấy trung bình từ hai lần chạy. Điểm 58.6 trên tác vụ web WebVoyager-Static là kết quả của phiên bản SFT, thấp hơn so với Fara1.5-4B (chuyên dụng cho trình duyệt) với 68.0. Thẻ mô hình chỉ cung cấp điểm số cho desktop Linux (OSWorld).
- Kiến trúc là llava_onevision2 tùy chỉnh, bắt buộc phải bật trust_remote_code, không thể tải như một mô hình Qwen3-VL tiêu chuẩn; cửa sổ suy luận được huấn luyện với độ dài 32K. Trọng số bf16 có dung lượng 9.48 GB, nhưng thẻ mô hình không ghi rõ yêu cầu về VRAM; báo cáo kỹ thuật hiện tại là một file PDF trên GitHub.