agent-desktop là công cụ dòng lệnh và kỹ năng đi kèm của Vercel Labs, đọc và thao tác với các ứng dụng desktop thông qua cây trợ năng của hệ điều hành: nhấn nút, điền biểu mẫu, đọc trạng thái giao diện, điều hướng menu, đánh dấu chọn, cuộn, kéo thả, nhập liệu, phím tắt, chụp màn hình, quản lý cửa sổ, clipboard, khởi động và đóng ứng dụng, đọc thông báo. Mỗi lệnh trả về một JSON; đây chỉ là công cụ, vòng lặp “quan sát—thao tác—xác minh” do tác nhân (agent) gọi nó thực hiện.
Tại sao quan trọng Không cần đoán tọa độ từ ảnh chụp màn hình, mà nhấn nút, điền biểu mẫu và đọc trạng thái dựa trên các phần tử giao diện, giúp tự động hóa desktop ổn định hơn.
Kiểm toán bảo mật: Chưa được kiểm toán
- Chưa được quét
Lý do
- skills.sh 24 giờ cài đặt 433 (chỉ phản ánh mức độ quan tâm)
Cách dùng
- Trước tiên cài đặt dòng lệnh agent-desktop, chạy agent-desktop status để kiểm tra quyền, sau đó dùng snapshot để lấy tham chiếu phần tử rồi thao tác
Rủi ro
- Chưa được kiểm toán, không hiển thị lệnh cài đặt
- Cần cấp quyền trợ năng cho terminal, tác nhân (agent) có thể thao tác với bất kỳ ứng dụng nào trên máy tính, các thao tác nhạy cảm cần có sự xác nhận của con người