Mage-VL-Cowork: Tác nhân điều khiển máy tính 4B của Microsoft, biết click chuột và viết code

Tác nhân điều khiển máy tính do nhóm Mage của Microsoft huấn luyện trên điểm kiểm tra trung gian Mage-VL 4B (bộ mã hóa hình ảnh Mage-ViT + Qwen3-4B). Một mô hình duy nhất tích hợp hai kênh hành động: computer_use xem ảnh chụp màn hình để di chuột và gõ phím, còn bash chạy lệnh và Python để xử lý tệp; mô hình tự chọn kênh cho mỗi bước mà không cần bộ điều phối bên ngoài. Quá trình huấn luyện gồm năm giai đoạn, trước tiên luyện riêng biệt việc định vị giao diện, thao tác giao diện và lập trình terminal, sau đó kết hợp để thực hiện SFT hỗn hợp và học tăng cường trực tuyến. Theo công bố chính thức, mô hình đạt 66.0% trên OSWorld-Verified (ngân sách 50 bước), là thành tích tốt nhất ở quy mô 4B; học tăng cường trực tuyến cải thiện 10.16 điểm phần trăm so với SFT hỗn hợp, đồng thời giảm số lần gọi và độ dài đầu ra.

Nguồn gốc: microsoft/Mage-VL-Cowork

Tác nhân điều khiển máy tính do nhóm Mage của Microsoft huấn luyện trên điểm kiểm tra trung gian Mage-VL 4B (bộ mã hóa hình ảnh Mage-ViT + Qwen3-4B). Một mô hình duy nhất tích hợp hai kênh hành động: computer_use xem ảnh chụp màn hình để di chuột và gõ phím, còn bash chạy lệnh và Python để xử lý tệp; mô hình tự chọn kênh cho mỗi bước mà không cần bộ điều phối bên ngoài. Quá trình huấn luyện gồm năm giai đoạn, trước tiên luyện riêng biệt việc định vị giao diện, thao tác giao diện và lập trình terminal, sau đó kết hợp để thực hiện SFT hỗn hợp và học tăng cường trực tuyến. Theo công bố chính thức, mô hình đạt 66.0% trên OSWorld-Verified (ngân sách 50 bước), là thành tích tốt nhất ở quy mô 4B; học tăng cường trực tuyến cải thiện 10.16 điểm phần trăm so với SFT hỗn hợp, đồng thời giảm số lần gọi và độ dài đầu ra.

Tại sao quan trọng Các mô hình nhỏ vẫn có thể làm tác nhân điều khiển máy tính, chỉnh sửa tệp qua script, tương tác giao diện qua click chuột, với ít bước hơn

Điểm tăng 65 · Lượt thích 217 · Lượt tải 3714

Lý do

  • Các tệp có cấu trúc như bảng tính, tài liệu, slide được chỉnh sửa bằng code, chỉ dùng ảnh chụp màn hình và click chuột cho việc chỉnh sửa canvas và trạng thái giao diện thời gian thực, giúp giảm thao tác click chuột từng bước
  • Trọng số bf16 khoảng 9.48 GB, cung cấp chính thức hình ảnh Docker SGLang và ví dụ suy luận bằng transformers
  • Thẻ mô hình ghi đầy đủ quy trình huấn luyện và phương pháp tổng hợp tác vụ (Mage-CUA-Forge), giấy phép Apache-2.0

Cách sử dụng

  • Khởi động dịch vụ bằng SGLang (cần trust_remote_code, khuyến nghị ngữ cảnh 32,768, temperature 0.7, top_p 0.8), hoặc dùng trực tiếp hình ảnh Docker chính thức
  • Prompt hệ thống và định nghĩa của hai công cụ phải được sử dụng nguyên bản như phiên bản trong thẻ mô hình

Rủi ro

  • Kiến trúc tùy chỉnh llava_onevision2, không thể tải như Qwen3-VL tiêu chuẩn
  • Kết quả do chính thức tự báo cáo; thẻ mô hình chỉ ghi chú bằng tiếng Anh
  • Mô hình trực tiếp điều khiển máy tính và thực thi lệnh shell, khuyến nghị đặt trong máy ảo hoặc sandbox
  • Bài viết này chưa chạy thử, hiệu quả thực tế dựa theo thẻ mô hình

Mở

Hugging Face Trending

Xem tin AI mới nhất