AI 에이전트를 위한 데스크톱 컴퓨터 조작 도구: 시스템 접근성 트리를 통해 임의의 애플리케이션의 실제 인터페이스 구조를 읽으며, 스냅샷은 JSON 형식으로 반환되고 각 조작 가능한 요소에는 참조가 부여됩니다. 에이전트는 참조를 통해 클릭 및 입력을 수행한 후 스냅샷으로 확인하며, 픽셀 인식에 의존하지 않습니다.
1833개 스타 (22개 증가 / 24시간)
이유
- 참조는 해당 스냅샷에 바인딩되며, 인터페이스가 변경되면 STALE_REF 또는 AMBIGUOUS_TARGET을 반환하고 재스냅샷을 요구하여 삭제된 행을 잘못 클릭하는 것을 방지합니다. 기본 모드는 헤드리스(headless)로, 접근성 인터페이스를 통해 조작하며 마우스를 이동하거나 포커스를 빼앗지 않습니다. 실제 입력이 필요한 경우 --headed 옵션을 추가합니다.
- 60개의 명령어 이름 중 56개가 사용 가능합니다: 관찰, 참조 조작, 키보드 및 마우스, 애플리케이션 및 창 관리, 알림, 클립보드, 대기, 세션 추적. 복잡한 인터페이스에서는 먼저 snapshot --skeleton으로 골격을 가져온 후 특정 영역으로 진입합니다.
- 모든 명령어는 일관된 JSON 엔벨로프를 출력하며, 오류에는 코드, 안전한 재시도 가능 여부 및 권장 사항이 포함됩니다. 또한 C 라이브러리를 제공하여 프로그램이 프로세스 내에서 호출할 수 있습니다.
사용법
- npm install -g agent-desktop; macOS에서는 접근성 권한이 필요합니다(agent-desktop permissions --guide). Linux에서는 그래픽 세션과 at-spi2-core가 필요합니다.
- 에이전트가 자체 문서를 먼저 읽도록 하세요: agent-desktop skills get desktop 및 skills get platform; 또는 npx skills add https://github.com/vercel-labs/agent-desktop --skill agent-desktop
- 최소 루프: agent-desktop snapshot --app Finder -i → agent-desktop click <스냅샷의 참조> → 다시 snapshot으로 확인
리스크
- 스냅샷, 클립보드, 스크린샷 및 로그에는 데스크톱의 개인 정보가 포함될 수 있으며, 작성자는 이를 공개 로그에 넣지 않도록 경고합니다. 선택적인 JEV 보조 기능은 화면 설명을 사용자가 설정한 모델 제공업체로 전송합니다.
- Linux 기능은 X11 / Wayland 및 GNOME에 따라 달라지며 일부 기능이 누락될 수 있습니다. Homebrew 및 Scoop 공식 패키지는 아직 제출 중입니다. 라이선스는 Apache-2.0입니다.