不用截图也能让 AI 替你点电脑里的应用

你会得到什么

装好 Vercel 开源的 agent-desktop 之后，你的 Claude Code 或 Codex 可以直接操作电脑上的桌面应用，比如打开备忘录写一段话，在访达里找文件，或者点一下设置里的开关。它读的是应用自己提供的"界面清单"，用不着截图认按钮，所以比看图点坐标准，也不会把鼠标抢走。文中有 3 段可直接复制的提示词。

你只需要懂一个概念。 安装和授权交给 Agent，命令也由它挑，你负责说要干什么，并在它动手前看一眼计划。

只需要懂一个概念：界面清单

每个正规的桌面应用都会给读屏软件准备一份清单，写明窗口里有哪些按钮、输入框和菜单，各叫什么名字，能做什么操作。这本来是为视障用户设计的，叫无障碍树（accessibility tree）。

agent-desktop 把这份清单读出来交给 Agent，给每个能点的东西编一个号（叫 ref），Agent 说"点 8 号"，它就去点。点完再读一次清单，确认真的变了。

和截图方案比，差别在这几处：

截图方案agent-desktop怎么认按钮看图猜位置读应用自己报的名字和编号会不会抢鼠标会，操作时你不能动电脑默认不会，在后台操作出错时点偏了也不知道编号过期会直接报错，让它重读弱点什么界面都能看应用没做好无障碍支持时，清单可能不全

支持 macOS 13 及以上、Windows 10（1809 版）及以上、Ubuntu 24.04 及以上。

第 1 步：让 Agent 装好工具并检查权限

打开 Claude Code 或 Codex，把这段发给它：

帮我安装 vercel-labs 开源的 agent-desktop（npm 包名就叫 agent-desktop），装完运行 agent-desktop status 告诉我结果。
需要系统权限时，告诉我去哪里打开、点哪个开关，由我自己点。不要改其他系统设置。

它会用 npm 全局安装（Mac 上也可以用 Homebrew），然后运行状态检查。

Mac 用户要手动给一次权限：系统会要求在 系统设置 → 隐私与安全性 → 辅助功能 里，把你运行 Agent 的终端（比如"终端"或 iTerm）打开。Agent 可以运行 agent-desktop permissions --guide 一步步带你点，这个开关必须你自己点。

第 2 步：装上官方的 Skill

官方给 Agent 写了一份使用说明（Skill），讲清楚"先读清单，再操作，最后确认"的规矩和出错后怎么重试。让它装上（不了解 Skill 的话看 Skill 手册）：

运行 npx skills add https://github.com/vercel-labs/agent-desktop --skill agent-desktop 安装官方 Skill。
装好后再运行 agent-desktop skills get desktop 和 agent-desktop skills get platform，读完用三句话告诉我你操作桌面应用时要遵守哪些规则。

最后一句用来确认它读懂了。它应该提到"每次操作前先读一次界面""编号过期就重新读""只有提示可以安全重试时才重试"。

第 3 步：先只读试一次

第一次别让它点任何东西，只让它看：

这段关键内容需要登录后解锁

新用户注册就送 10 积分，每天签到再领 1 积分。用 1 积分解锁，以后随时回来都能看。

第 3 条最有用，因为它要先把计划说出来，你就能判断它到底认没认对按钮。说对了，回一句"可以"，看它点完是不是真的打开了下载文件夹。

第 4 步：交给它干真活

熟悉以后，可以让它做你平时要在几个应用之间来回点的事，比如：

在备忘录里新建一条笔记，把今天的待办整理进去。
打开系统设置，告诉你某个选项现在是开还是关。
在一个没有命令行、也没有接口的老软件里，按固定步骤填一张表。

下面是官方演示：Agent 打开文本编辑器，写好一段带格式的笔记并保存。

（动图来自 agent-desktop 仓库。）

每次都让它做完再读一遍界面，用人话告诉你结果，你再亲眼看一下应用里是不是真的变了。

注意

它读到的东西都是你屏幕上的内容。 界面清单和剪贴板里可能有聊天记录、密码和账单，截图也一样。别让它把这些贴到公开的地方，也别把日志随手上传。
发消息、付款、删除这类动作，让它先停下问你。 可以在提示词末尾固定加一句"任何发送、删除、付款操作先问我"。
有的应用清单不全。 自己画界面的应用、部分游戏和老软件，按钮可能读不出来，这时它会说找不到，而不是乱点。
Windows 上用 PowerShell 时，编号要加引号，否则会被当成别的语法。这一点 Agent 读了 Skill 会知道，出错时提醒它一句即可。