Mage-VL-Cowork: компьютерный агент Microsoft на базе модели 4B, умеющий и кликать, и писать код

Компьютерный агент, обученный командой Mage от Microsoft на промежуточной контрольной точке модели Mage-VL 4B (визуальный энкодер Mage-ViT + Qwen3-4B). В одной модели реализованы два канала действий: computer_use для просмотра скриншотов, кликов мышью и ввода с клавиатуры, а также bash для выполнения команд и обработки файлов на Python. На каждом шаге модель сама выбирает канал, внешний планировщик не требуется. Обучение проходит в пять этапов: сначала отдельно отрабатываются локализация элементов интерфейса, взаимодействие с ним и программирование в терминале, затем выполняется смешанное SFT и онлайн-обучение с подкреплением. По официальным данным, на бенчмарке OSWorld-Verified (бюджет 50 шагов) достигнут результат 66.0%, что является лучшим показателем для моделей размера 4B; онлайн-обучение с подкреплением улучшило результаты смешанного SFT на 10.16 процентных пункта, одновременно сократив количество вызовов и длину вывода.

Оригинальное название: microsoft/Mage-VL-Cowork

Компьютерный агент, обученный командой Mage от Microsoft на промежуточной контрольной точке модели Mage-VL 4B (визуальный энкодер Mage-ViT + Qwen3-4B). В одной модели реализованы два канала действий: computer_use для просмотра скриншотов, кликов мышью и ввода с клавиатуры, а также bash для выполнения команд и обработки файлов на Python. На каждом шаге модель сама выбирает канал, внешний планировщик не требуется. Обучение проходит в пять этапов: сначала отдельно отрабатываются локализация элементов интерфейса, взаимодействие с ним и программирование в терминале, затем выполняется смешанное SFT и онлайн-обучение с подкреплением. По официальным данным, на бенчмарке OSWorld-Verified (бюджет 50 шагов) достигнут результат 66.0%, что является лучшим показателем для моделей размера 4B; онлайн-обучение с подкреплением улучшило результаты смешанного SFT на 10.16 процентных пункта, одновременно сократив количество вызовов и длину вывода.

Почему это важно Даже небольшие модели могут выступать в роли компьютерных агентов: изменение файлов выполняется через скрипты, а взаимодействие с интерфейсом — через клики, что сокращает количество шагов

Рост рейтинга на 65 · Лайков 217 · Загрузок 3714

Причины

  • Структурированные файлы, такие как таблицы, документы и презентации, редактируются с помощью кода; скриншоты и клики используются только для редактирования на холсте и работы с текущим состоянием интерфейса, что уменьшает количество последовательных кликов мышью
  • Веса модели bf16 занимают примерно 9.48 ГБ; официально предоставлены Docker-образ SGLang и примеры инференса через transformers
  • Карточка модели подробно описывает процесс обучения и метод генерации задач (Mage-CUA-Forge), лицензия Apache-2.0

Использование

  • Запустите сервис с помощью SGLang (требуется параметр trust_remote_code, рекомендуется контекст 32,768, temperature 0.7, top_p 0.8) или используйте официальный Docker-образ
  • Системный промпт и определения двух инструментов следует использовать в точности так, как они приведены в карточке модели

Риски

  • Пользовательская архитектура llava_onevision2 не позволяет загружать модель как стандартную Qwen3-VL
  • Результаты заявлены разработчиками самостоятельно; в карточке модели указано только наличие английской версии
  • Модель напрямую управляет компьютером и выполняет shell-команды, поэтому рекомендуется запускать её в виртуальной машине или песочнице
  • Данная запись не была проверена на практике; ориентируйтесь на данные из карточки модели

Открыть

Hugging Face Trending

Открыть последние новости ИИ