Một khung huấn luyện agent thao tác máy tính với "vòng bay hai lớp". Lớp ngoài kết nối ngữ liệu thế giới mở với các điểm yếu hiện tại của mô hình, định hướng cho việc tạo dữ liệu và huấn luyện trong vòng lặp tiếp theo; lớp trong trước tiên khai thác các quy trình làm việc thực tế từ video hướng dẫn để làm tác vụ hạt giống (tái tạo quỹ đạo thao tác thông qua hai con đường: kích hoạt ngữ nghĩa từ văn bản phiên âm và kích hoạt thị giác từ sự thay đổi hình ảnh), sau đó trừu tượng hóa các hạt giống thành "nguyên tử năng lực" có thể tái sử dụng, kết hợp chúng để tạo ra các tác vụ mới với số lượng và độ khó có thể kiểm soát, kèm theo bộ xác thực. Khi thu thập quỹ đạo, nếu gặp lỗi trong môi trường thực, hệ thống sẽ hoàn nguyên về ảnh chụp nhanh (snapshot) dựa trên phản hồi và thử lại. Mô hình CUA-Master-27B được tạo ra dựa trên Qwen3.5-27B, trải qua nhiều vòng huấn luyện SFT và RL, đồng thời hỗ trợ cả thao tác thuần GUI và thao tác hỗn hợp GUI+CLI.
Lượt thích 92 · Số sao mã nguồn 86
Lý do
- Tác giả báo cáo kết quả trên OSWorld Verified 80.2, OSWorld 2.0 36.9, WeaveBench 43.9, Agents' Last Exam 25.0; thẻ mô hình liệt kê thêm WindowsAgentArena 56.2, MacOSWorld 43.0, MacAgentBench 59.9, và cung cấp thời gian trung bình cho mỗi câu hỏi (OSWorld Verified khoảng 8 phút).
- Cả trọng số và toàn bộ đường ống dữ liệu đều được công khai: trên Hugging Face yxl66666/CUAMaster-27B, kho mã bao gồm toàn bộ dòng lệnh từ truy xuất video, phiên âm, chấm điểm tính phù hợp, tái tạo quỹ đạo, tổng hợp tác vụ, thu thập trong sandbox đến chuyển đổi dữ liệu SFT cho ms-swift.
- Xếp thứ ba về lượt thích trong ngày trên Hugging Face (chỉ phản ánh mức độ quan tâm); ý tưởng "khai thác tác vụ hạt giống từ video hướng dẫn" không phụ thuộc vào kinh nghiệm tự sinh của mô hình, có thể được sử dụng độc lập để tạo dữ liệu huấn luyện cho agent của riêng bạn.
Cách sử dụng
- Cài đặt: pip install -e ".[seeding,annotator,collection,dev]", cp .env.example .env và điền API Key cùng địa chỉ dịch vụ sandbox.
- Tạo dữ liệu: python -m cuamaster.seeding.harvesting.search_cli để truy xuất video hướng dẫn → …harvesting.download để tải xuống → …transcription.transcribe để phiên âm bằng faster-whisper → …scoring.score để chấm điểm từ 0 đến 5 → …reconstruction.construct để tái tạo quỹ đạo hạt giống; cuamaster-synthesize để tổng hợp các tác vụ mới.
- Thu thập quỹ đạo: trước tiên chạy kiểm thử khói (smoke test) không cần máy ảo bằng cuamaster-collect --config configs/collection/mock_command.example.json, thu thập chính thức cần kết nối với trình điều phối máy ảo của riêng bạn thông qua giao diện SandboxProvider; cuamaster-dataset để xuất dữ liệu SFT.
- Mô hình: trên Hugging Face yxl66666/CUAMaster-27B, tọa độ hành động được chuẩn hóa trong khoảng [0,1000]; thẻ mô hình nhắc nhở chạy trong sandbox và chỉ nới lỏng quyền hạn sau khi xác nhận kết quả.
Rủi ro
- Thẻ mô hình không ghi giấy phép và không cung cấp lệnh triển khai suy luận; mã nguồn được đánh dấu Apache-2.0 trong pyproject, nhưng thư mục gốc của kho mã không có tệp LICENSE, cần xác nhận với tác giả trước khi sử dụng cho mục đích thương mại.
- Quy trình đầy đủ phụ thuộc vào API bên ngoài (mô hình chú thích), tải xuống video và sandbox máy ảo tự xây dựng, chi phí tái hiện cao; phần RL trong README chỉ mô tả việc sử dụng bộ xác thực tác vụ để cung cấp phần thưởng cho kết quả, không có kịch bản có sẵn.
- Điểm số do tác giả báo cáo, thời gian cho mỗi câu hỏi dài có thể từ vài phút đến hơn một giờ; agent sẽ sửa đổi tệp và thực thi lệnh, không nên chạy trực tiếp trên máy chính.