Kỹ năng của Vercel Labs: Hướng dẫn agent sử dụng dòng lệnh agent-desktop để đọc và thao tác với các ứng dụng desktop trên macOS, Windows, Linux thông qua cây trợ năng của hệ thống (accessibility tree) — trước tiên thực hiện snapshot để lấy JSON chứa các phần tử giao diện kèm mã tham chiếu, sau đó nhấp chuột, nhập liệu, đánh dấu vào các phần tử dựa trên mã tham chiếu, cuối cùng thực hiện snapshot lại để kiểm tra, không phụ thuộc vào ảnh chụp màn hình hay khớp điểm ảnh.
Kiểm toán bảo mật: Chưa kiểm toán
- Chưa quét
Lý do
- Quy trình lặp được mô tả cụ thể: với ứng dụng nhỏ, thực hiện trực tiếp snapshot -i; với ứng dụng phức tạp, trước tiên dùng --skeleton để lấy bản đồ sơ bộ, sau đó dùng --root để đi sâu vào một khu vực; mã tham chiếu có dạng @s8f3k2p9:e1, chỉ có hiệu lực trong snapshot hiện tại, nếu giao diện thay đổi và báo lỗi STALE_REF thì phải thực hiện snapshot lại
- Quy tắc thử lại ngăn chặn việc gửi trùng lặp: chỉ khi disposition.retry là safe (tức là not_delivered) mới được phép thử lại, trong các trường hợp khác cần đọc trạng thái giao diện hiện tại trước khi quyết định, tránh việc nhấp hai lần, gửi hai lần hoặc toggle tự hủy bỏ thao tác
- Mặc định chạy ở chế độ headless: thao tác qua giao diện trợ năng, không chiếm tiêu điểm, không di chuyển chuột, không sử dụng clipboard; chỉ thêm --headed khi người dùng cho phép rõ ràng việc nhập liệu vật lý, và không được phép chuyển đổi chế độ để bỏ qua lỗi khi chạy headless
- SKILL.md rất ngắn gọn, các mô tả lệnh chi tiết do chương trình tự cung cấp (agent-desktop skills get desktop / platform), đồng bộ với phiên bản; README ghi rõ giấy phép Apache-2.0, tác giả cho biết có tổng cộng 60 tên lệnh, trong đó 56 lệnh có thể sử dụng
- skills.sh đã được cài đặt 536 trong 24 giờ (chỉ phản ánh mức độ quan tâm)
Cách sử dụng
- Lệnh cài đặt sẽ hiển thị sau khi vượt qua kiểm toán; trước tiên cài đặt dòng lệnh bằng npm install -g agent-desktop, lần đầu tiên sử dụng hãy để agent chạy agent-desktop status và agent-desktop skills get platform
- Không cần tài khoản hoặc dịch vụ đám mây; trên macOS cần cấp quyền trợ năng cho terminal (agent-desktop permissions --guide), trên Linux cần phiên đồ họa và at-spi2-core, trên Windows chỉ có thể thao tác các ứng dụng có cùng mức quyền với terminal
Rủi ro
- Chưa kiểm toán trong kỳ này, xếp loại C cố định, không hiển thị lệnh cài đặt; SKILL.md hướng dẫn agent thực hiện các lệnh agent-desktop để thao tác ứng dụng cục bộ, thuộc loại thực thi lệnh, phù hợp với mục đích sử dụng; trên skills.sh, kiểm toán Snyk báo cáo Warn
- Agent có thể đọc/ghi clipboard, chụp màn hình, khởi động và đóng ứng dụng, đọc thông báo; README cảnh báo rằng snapshot và ảnh chụp màn hình có thể chứa nội dung riêng tư, không nên đưa vào nhật ký công khai; tính năng hỗ trợ JEV tùy chọn sẽ gửi mô tả màn hình đến dịch vụ mô hình mà bạn đã cấu hình
- Trên Linux, nhập liệu chuột và điều khiển cửa sổ chủ yếu hỗ trợ X11, trên Wayland việc chụp màn hình đi qua cổng hệ thống, clipboard cần wl-clipboard; chưa chạy thử trong lần này, độ tin cậy của thao tác chưa rõ