Оригинальное название: microsoft/Mage-VL-Cowork
Компьютерный агент, обученный командой Mage от Microsoft на промежуточной контрольной точке модели Mage-VL 4B (визуальный энкодер Mage-ViT + Qwen3-4B). В одной модели реализованы два канала действий: computer_use для просмотра скриншотов, кликов мышью и ввода с клавиатуры, а также bash для выполнения команд и обработки файлов на Python. На каждом шаге модель сама выбирает канал, внешний планировщик не требуется. Обучение проходит в пять этапов: сначала отдельно отрабатываются локализация элементов интерфейса, взаимодействие с ним и программирование в терминале, затем выполняется смешанное SFT и онлайн-обучение с подкреплением. По официальным данным, на бенчмарке OSWorld-Verified (бюджет 50 шагов) достигнут результат 66.0%, что является лучшим показателем для моделей размера 4B; онлайн-обучение с подкреплением улучшило результаты смешанного SFT на 10.16 процентных пункта, одновременно сократив количество вызовов и длину вывода.
Почему это важно Даже небольшие модели могут выступать в роли компьютерных агентов: изменение файлов выполняется через скрипты, а взаимодействие с интерфейсом — через клики, что сокращает количество шагов
Рост рейтинга на 65 · Лайков 217 · Загрузок 3714
Причины
- Структурированные файлы, такие как таблицы, документы и презентации, редактируются с помощью кода; скриншоты и клики используются только для редактирования на холсте и работы с текущим состоянием интерфейса, что уменьшает количество последовательных кликов мышью
- Веса модели bf16 занимают примерно 9.48 ГБ; официально предоставлены Docker-образ SGLang и примеры инференса через transformers
- Карточка модели подробно описывает процесс обучения и метод генерации задач (Mage-CUA-Forge), лицензия Apache-2.0
Использование
- Запустите сервис с помощью SGLang (требуется параметр trust_remote_code, рекомендуется контекст 32,768, temperature 0.7, top_p 0.8) или используйте официальный Docker-образ
- Системный промпт и определения двух инструментов следует использовать в точности так, как они приведены в карточке модели
Риски
- Пользовательская архитектура llava_onevision2 не позволяет загружать модель как стандартную Qwen3-VL
- Результаты заявлены разработчиками самостоятельно; в карточке модели указано только наличие английской версии
- Модель напрямую управляет компьютером и выполняет shell-команды, поэтому рекомендуется запускать её в виртуальной машине или песочнице
- Данная запись не была проверена на практике; ориентируйтесь на данные из карточки модели