Навыки от Vercel Labs: обучают агентов использовать CLI agent-desktop для чтения и управления настольными приложениями в macOS, Windows и Linux через системное дерево доступности (accessibility tree) — сначала делается снимок (snapshot) для получения JSON с элементами интерфейса и ссылочными идентификаторами, затем по этим идентификаторам выполняются клики, ввод текста и установка флажков, после чего снимок повторяется для проверки; метод не полагается на скриншоты и сопоставление пикселей.
Аудит безопасности: не проводился
- Сканирование не выполнялось
Обоснование
- Цикл работы четко описан: для простых приложений сразу используется
snapshot -i, для сложных — сначала--skeletonдля получения поверхностной карты, затем--rootдля углубления в конкретную область; ссылки вида @s8f3k2p9:e1 действительны только в рамках текущего снимка, при изменении интерфейса возвращается ошибка STALE_REF, требующая повторного снимка - Правила повторных попыток предотвращают дублирование отправки: повтор возможен только если
disposition.retryимеет значениеsafe(то естьnot\_delivered); в остальных случаях сначала считывается текущее состояние интерфейса, чтобы избежать двойных кликов, двойной отправки или самоотмены переключателя - По умолчанию используется безголовый режим: управление осуществляется через интерфейсы доступности, без перехвата фокуса, перемещения мыши или использования буфера обмена; флаг
--headedдобавляется только при явном разрешении пользователя на физический ввод, и переключение на него для обхода ошибок безголового режима запрещено - Файл SKILL.md очень короткий, подробное описание команд встроено в программу (
agent-desktop skills get desktop / platform) и синхронизировано с версией; в README указана лицензия Apache-2.0, автор заявляет наличие 60 названий команд, из которых 56 доступны - За 24 часов через skills.sh выполнено 536 установок (отражает только уровень интереса)
Использование
- Команда установки будет отображаться после успешного прохождения аудита; сначала установите CLI:
npm install -g agent-desktop, при первом использовании попросите агента выполнитьagent-desktop statusиagent-desktop skills get platform - Не требуется аккаунт или облачный сервис; в macOS необходимо предоставить терминалу права на вспомогательные функции (
agent-desktop permissions --guide), в Linux требуются графическая сессия иat-spi2-core, в Windows можно управлять только приложениями с тем же уровнем прав, что и у терминала
Риски
- В этом выпуске аудит не проводился, присвоен фиксированный рейтинг C, команда установки не отображается; SKILL.md предписывает агенту выполнять команды
agent-desktopдля управления локальными приложениями, что является исполнением команд и соответствует назначению; аудит Snyk на skills.sh имеет статус Warn - Агент может читать и записывать в буфер обмена, делать скриншоты, запускать и закрывать приложения, читать уведомления; в README указано, что снимки и скриншоты могут содержать конфиденциальные данные, которые не следует помещать в публичные журналы; опциональная функция JEV может отправлять описание экрана в настроенный вами сервис моделей
- В Linux ввод с мыши и управление окнами в основном поддерживаются в X11; в Wayland скриншоты выполняются через системный портал, а для буфера обмена требуется
wl-clipboard; в данном случае запуск не выполнялся, надежность операций неизвестна