原题:microsoft/Mage-VL-Cowork
微软 Mage 团队在 Mage-VL 4B 中间检查点上训练的电脑操作智能体(Mage-ViT 视觉编码器 + Qwen3-4B)。一个模型里有两种动作通道:computer_use 看截图点鼠标、敲键盘,bash 跑命令和 Python 处理文件,每一步由模型自己选通道,不需要外部调度器。训练分五个阶段,先分别练界面定位、界面操作和终端编程,再合并做混合 SFT 和在线强化学习。官方称在 OSWorld-Verified(50 步预算)上 66.0%,是 4B 规模最好成绩;在线强化学习比混合 SFT 提高 10.16 个百分点,同时减少了调用次数和输出长度。
为什么重要 小模型就能做电脑操作代理,改文件走脚本、动界面走点击,步骤更少
上升分 65 · 点赞 217 · 下载量 3714
理由
- 表格、文档、幻灯片这类结构化文件用代码改,画布编辑和界面实时状态才用截图点击,减少逐步点鼠标
- bf16 权重约 9.48 GB,官方提供 SGLang Docker 镜像和 transformers 推理示例
- 模型卡完整写出了训练流程和任务合成方法(Mage-CUA-Forge),Apache-2.0
用法
- 用 SGLang 起服务(需 trust_remote_code,推荐上下文 32,768、temperature 0.7、top_p 0.8),或直接用官方 Docker 镜像
- 系统提示词和两个工具的定义要原样使用模型卡给出的版本
风险
- 自定义架构 llava_onevision2,不能当标准 Qwen3-VL 加载
- 成绩为官方自报;模型卡只标注了英文
- 模型会直接操作电脑并执行 shell 命令,建议放在虚拟机或沙箱里
- 本条未运行,效果以模型卡为准