Модель управления компьютером от команды Microsoft Mage с параметрами 4B: анализируя скриншоты рабочего стола, на каждом шаге самостоятельно решает, использовать ли мышь и клавиатуру для взаимодействия с интерфейсом (computer_use, 11 типов действий) или запускать shell / Python в терминале (bash). Одна модель выполняет задачи на рабочем столе, охватывающие несколько приложений, без внешнего планировщика. Обучена на промежуточной контрольной точке Mage-VL 4B (Mage-ViT + Qwen3-4B).
Рост рейтинга на 90 · Лайки: 91 · Количество загрузок: 233
Причины
- Официально заявлено, что на OSWorld-Verified результат составляет 66.0% (задачи 361, без задач типа Google Drive, бюджет 50 шагов, усреднение по двум полным прогонам), где для задач операционной системы результат 87.5%, а для многоприложенческих рабочих процессов — 62.7%; в той же таблице ScaleCUA-Qwen3.5-9B показывает 68.7, Qwen3.6-27B — 63.9, GPT-5.4-mini — 69.6, а эталонный результат человека — 72.4.
- Модель умеет распределять задачи: структурированные изменения в таблицах, документах и презентациях выполняются напрямую в терминале с помощью openpyxl / python-pptx, а редактирование на холсте и просмотр состояния интерфейса требуют использования мыши. В официальной демонстрации задача в LibreOffice Calc (объединение ячеек, добавление столбчатой диаграммы, сохранение .xlsx) была выполнена за 39 секунд и 6 шагов, тогда как модель Qwen3.6-27B, использующая только интерфейс, потратила 9 минут 56 секунд и 39 шагов.
- Рецепт обучения подробно описан: пять этапов последовательно включают промежуточное обучение GUI, SFT для GUI-агентов, SFT для программирования / терминала, смешанный SFT и онлайн-обучение с подкреплением GRPO, всего синтезировано 293,806 задач. Официально заявлено, что обучение с подкреплением превосходит смешанный SFT на 10.16 процентных пунктов, при этом количество выходных токенов сокращается на 25.4%. Репозиторий создан 30 10 месяца, ранее в выпусках не освещался.
Использование
- Сервис: используйте официальный Docker-образ xiaoyizhang/mage-vl-cowork:0.1.0 (включает SGLang 0.5.2), смонтируйте каталог с весами для запуска сервиса. Также можно самостоятельно запустить python -m sglang.launch_server --model-path microsoft/Mage-VL-Cowork --trust-remote-code --context-length 32768 --tool-call-parser qwen25 и установить SGLANG_MAX_PIXELS=4000000, чтобы сохранить детализацию скриншотов 1920×1080.
- Системный промпт необходимо использовать в точности как в карточке модели: MAGE_HYBRID_SYSTEM_PROMPT, в котором определены два инструмента: computer_use и bash, а координаты нормализованы в диапазон 0–999. На каждом шаге модель выводит рассуждение в теге <think>, одно действие Action и вызов инструмента в теге <tool_call>; для сэмплирования используются temperature 0.7, top_p 0.8 и max_new_tokens 4096.
- Для выполнения полных задач необходимо подключить MAGEHybridAgent из репозитория osworld_eval/: сохраняются последние 3 скриншотов, более ранние шаги сворачиваются в однострочное резюме. Для офлайн-инференса с помощью Transformers требуется transformers>=4.57.3 и включенный параметр trust_remote_code=True.
Риски
- Модель выполняет произвольные shell-команды и действия в интерфейсе. Официально требуется запускать её только в изолированных, одноразовых контейнерах или виртуальных машинах, не монтировать личные ключи, cookie браузера или облачные учетные данные, а также получать ручное подтверждение перед необратимыми действиями, такими как оплата или вход в систему.
- Все результаты получены официальными тестами, 66.0 использует собственный харнесс, усреднение по двум прогонам. Результат 58.6 для веб-задач WebVoyager-Static получен версией SFT и ниже, чем у специализированной браузерной модели Fara1.5-4B (68.0). В карточке модели представлены только результаты для рабочего стола Linux (OSWorld).
- Архитектура является кастомной llava_onevision2, необходимо включать trust_remote_code, нельзя загружать как стандартную Qwen3-VL; окно контекста обучено на 32K. Веса в формате bf16 занимают 9.48 ГБ, требования к видеопамяти в карточке не указаны; технический отчет в настоящее время доступен в виде PDF на GitHub.