一个“双层飞轮”的电脑操作智能体训练框架。外层把开放世界语料和模型当前的弱点接起来，指导下一轮造数据和训练；内层先从教学视频里挖真实工作流当种子任务（用转写文本里的语义触发和画面变化的视觉触发两条路径重建操作轨迹），再把种子抽象成可复用的“能力原语”，组合出数量、难度可控、带校验器的新任务。采轨迹时在真实环境里遇错按反馈回滚快照重试。产出的 CUA-Master-27B 基于 Qwen3.5-27B，经多轮 SFT 和 RL 训练，同时支持纯 GUI 和 GUI+CLI 混合操作。
点赞 92 · 代码星数 86
理由
- 作者称 OSWorld Verified 80.2、OSWorld 2.0 36.9、WeaveBench 43.9、Agents' Last Exam 25.0；模型卡另列 WindowsAgentArena 56.2、MacOSWorld 43.0、MacAgentBench 59.9，并给出每题平均耗时（OSWorld Verified 约 8 分钟）。
- 权重和整条数据管线都放了：抱脸 yxl66666/CUAMaster-27B，仓库含视频检索、转写、适用性打分、轨迹重建、任务合成、沙盒采集到 ms-swift SFT 数据转换的全部命令行。
- 抱脸当日点赞第三（只代表关注度）；“从教学视频挖种子任务”这条思路不依赖模型自产经验，可单独拿来给自己的智能体造训练数据。
用法
- 安装：pip install -e ".[seeding,annotator,collection,dev]"，cp .env.example .env 填 API Key 和沙盒服务地址。
- 造数据：python -m cuamaster.seeding.harvesting.search_cli 检索教学视频 → …harvesting.download 下载 → …transcription.transcribe 用 faster-whisper 转写 → …scoring.score 打 0–5 分 → …reconstruction.construct 重建种子轨迹；cuamaster-synthesize 合成新任务。
- 采轨迹：先用 cuamaster-collect --config configs/collection/mock_command.example.json 无虚拟机冒烟测试，正式采集要通过 SandboxProvider 接口接你自己的虚拟机编排；cuamaster-dataset 导出 SFT 数据。
- 模型：抱脸 yxl66666/CUAMaster-27B，动作坐标是 [0,1000] 归一化；模型卡提醒在沙盒里运行、确认结果后再放宽权限。
风险
- 模型卡没写许可证，也没给推理部署命令；代码在 pyproject 里标 Apache-2.0，仓库根目录没有 LICENSE 文件，商用前要向作者确认。
- 完整流程依赖外部 API（标注模型）、视频下载和自建虚拟机沙盒，复现成本高；RL 部分 README 只写了用任务校验器给结果奖励，没有现成脚本。
- 分数为作者报告，长任务每题耗时从几分钟到一小时以上；智能体会改文件、执行命令，不要直接在主力机上跑。