Công cụ điều khiển máy tính để bàn dành cho tác nhân AI: Đọc cấu trúc giao diện thực tế của bất kỳ ứng dụng nào thông qua cây trợ năng (accessibility tree) của hệ thống, trả về JSON khi chụp nhanh, mỗi phần tử có thể tương tác đều kèm theo một tham chiếu; tác nhân sẽ nhấp chuột, nhập liệu vào các tham chiếu này rồi chụp nhanh lại để xác minh, không dựa vào nhận dạng điểm ảnh.
Số sao 1833 (+22 / 24h)
Lý do
- Tham chiếu được liên kết với ảnh chụp nhanh tương ứng; nếu giao diện thay đổi, hệ thống sẽ trả về STALE_REF hoặc AMBIGUOUS_TARGET và yêu cầu chụp nhanh lại, giúp tránh nhấp nhầm vào các dòng đã bị xóa; chế độ mặc định là không giao diện (headless), thao tác thông qua giao diện trợ năng, không di chuyển chuột, không chiếm tiêu điểm, thêm --headed nếu cần nhập liệu thực tế
- 60 tên lệnh, 56 khả dụng: quan sát, tương tác với tham chiếu, bàn phím và chuột, quản lý ứng dụng và cửa sổ, thông báo, clipboard, chờ, theo dõi phiên; đối với giao diện phức tạp, hãy dùng snapshot --skeleton để lấy khung xương trước rồi đi sâu vào một khu vực cụ thể
- Mỗi lệnh đều xuất ra một phong bì JSON thống nhất, lỗi kèm theo mã, thông tin về việc có thể thử lại an toàn hay không và các đề xuất; đồng thời cung cấp thư viện C, cho phép chương trình gọi trực tiếp trong cùng tiến trình
Cách dùng
- npm install -g agent-desktop; trên macOS cần cấp quyền trợ năng (agent-desktop permissions --guide), trên Linux cần phiên đồ họa và at-spi2-core
- Hãy để tác nhân đọc tài liệu đi kèm trước: agent-desktop skills get desktop và skills get platform; hoặc npx skills add https://github.com/vercel-labs/agent-desktop --skill agent-desktop
- Vòng lặp tối thiểu: agent-desktop snapshot --app Finder -i → agent-desktop click <tham chiếu trong ảnh chụp nhanh> → chụp nhanh lại để xác minh
Rủi ro
- Ảnh chụp nhanh, clipboard, ảnh chụp màn hình và nhật ký sẽ chứa nội dung riêng tư trên máy tính để bàn, tác giả nhắc nhở không nên đưa vào nhật ký công khai; tính năng JEV hỗ trợ tùy chọn sẽ gửi mô tả màn hình đến nhà cung cấp mô hình mà bạn đã cấu hình
- Khả năng trên Linux phụ thuộc vào X11 / Wayland và GNOME, một số tính năng còn thiếu; các gói chính thức trên Homebrew và Scoop vẫn đang trong quá trình gửi; giấy phép Apache-2.0