Фреймворк обучения компьютерных агентов с «двухуровневым маховиком». Внешний уровень связывает корпус данных открытого мира с текущими слабыми сторонами модели, направляя следующий цикл генерации данных и обучения; внутренний уровень сначала извлекает реальные рабочие процессы из обучающих видео в качестве задач-семян (восстанавливая траектории действий двумя путями: через семантические триггеры в транскриптах и визуальные триггеры изменений на экране), затем абстрагирует семена в переиспользуемые «примитивы способностей», комбинируя их в новые задачи с контролируемым количеством и сложностью, оснащенные валидаторами. При сборе траекторий в реальной среде ошибки обрабатываются откатом к снимку состояния и повторной попыткой на основе обратной связи. Созданный CUA-Master-27B основан на Qwen3.5-27B, прошел несколько раундов SFT и RL-обучения и поддерживает как чисто графический интерфейс (GUI), так и гибридное взаимодействие GUI+CLI.
Лайков 92 · Звёзд в коде 86
Причины
- Авторы сообщают о результатах OSWorld Verified 80.2, OSWorld 2.0 36.9, WeaveBench 43.9, Agents' Last Exam 25.0; в карточке модели также указаны WindowsAgentArena 56.2, MacOSWorld 43.0, MacAgentBench 59.9, а также приведено среднее время на задачу (OSWorld Verified — около 8 минут).
- Опубликованы веса и весь конвейер данных: на Hugging Face yxl66666/CUAMaster-27B, репозиторий содержит все командные строки для поиска видео, транскрипции, оценки применимости, восстановления траекторий, синтеза задач, сбора данных в песочнице и преобразования в формат SFT для ms-swift.
- Третье место по лайкам на Hugging Face за день (отражает только уровень внимания); подход «извлечение задач-семян из обучающих видео» не зависит от самогенерируемого опыта модели и может быть использован отдельно для создания обучающих данных для ваших агентов.
Использование
- Установка: pip install -e ".[seeding,annotator,collection,dev]", cp .env.example .env, заполните API-ключи и адреса сервисов песочницы.
- Генерация данных: python -m cuamaster.seeding.harvesting.search_cli для поиска обучающих видео → …harvesting.download для загрузки → …transcription.transcribe для транскрипции с помощью faster-whisper → …scoring.score для выставления оценок от 0 до 5 → …reconstruction.construct для восстановления траекторий-семян; cuamaster-synthesize для синтеза новых задач.
- Сбор траекторий: сначала выполните тестовый запуск без виртуальной машины с помощью cuamaster-collect --config configs/collection/mock_command.example.json, для полноценного сбора необходимо подключить вашу собственную оркестрацию виртуальных машин через интерфейс SandboxProvider; cuamaster-dataset для экспорта данных SFT.
- Модель: на Hugging Face yxl66666/CUAMaster-27B, координаты действий нормализованы в диапазоне [0,1000]; в карточке модели указано, что запуск следует производить в песочнице, а расширение прав доступа выполнять только после проверки результатов.
Риски
- В карточке модели не указана лицензия и отсутствуют команды для развертывания инференса; в pyproject.toml в коде указана лицензия Apache-2.0, но в корне репозитория нет файла LICENSE, перед коммерческим использованием необходимо уточнить условия у авторов.
- Полный конвейер зависит от внешних API (модель для аннотирования), загрузки видео и самостоятельно настроенной песочницы виртуальных машин, что делает воспроизведение затратным; в README для части RL описано только использование валидаторов задач для выдачи награды за результат, готовых скриптов нет.
- Результаты сообщаются авторами, время выполнения длинных задач варьируется от нескольких минут до более чем часа; агент изменяет файлы и выполняет команды, не запускайте его напрямую на основной рабочей машине.