用 agent desktop 点击元素的正确操作流程:先从当前窗口快照里复制完整的 ref_id,再把它传入 agent-desktop click 指令。点击结束后重新拉取同一窗口的信息,核对状态是否符合预期。接下来我们用 finder 的练习目录做演示,把视图从列表模式切换到图标模式。
点击前怎样确保目标是练习窗口?
先确认你的 macOS 终端已经完成授权,打开一个专门放练习文件的 Finder 目录。如果 Finder 开了好几个窗口,先把练习目录对应窗口的ID记下来。建议提前把这个目录切到列表视图,后面核对视图变化会更省事。
mkdir -p "/tmp/Agent Desktop Practice" touch "/tmp/Agent Desktop Practice/练习文件.txt" open "/tmp/Agent Desktop Practice"
agent-desktop list-windows --app Finder
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

怎样拿到能用的按钮引用?
用之前记下来的窗口ID拉取窗口快照,找到名叫「图标视图」的按钮,把这个节点的完整 ref_id 全量复制,开头的 @、快照ID、末尾的元素编号都要一起选中,不要漏。不同系统语言下按钮显示的名称不一样,记得对照你自己当前的界面核对。
agent-desktop snapshot --app Finder --window-id "替换为当前窗口ID" -i
把下面命令里的占位内容替换成你刚复制的完整引用,注意这个引用只对应当前生成的快照,命令跑完之后先看返回结果确认执行成功。
agent-desktop click "替换为当前快照的完整ref_id"
正常情况下点击操作会返回 ok: true,之后我们再读取窗口状态,确认图标视图已经被选中。
怎样验证图标视图已经选中?
重新拉取同一个窗口的快照。这个测试场景下,新快照里「图标视图」的 value 是 1,「列表视图」的 value 是 0,同时Finder界面也会同步切换成图标布局。
agent-desktop snapshot --app Finder --window-id "替换为当前窗口ID" -i

要是操作返回成功但实际状态没变化,先逐一核对窗口ID、节点名称和当前选中状态。如果弹出引用失效的提示,先重新拉取一次界面快照,用新拿到的引用再操作就行。
核对按钮状态的时候,也可以不用拉取全量快照,直接筛选出两个视图按钮的参数。先把操作后的新快照存下来,再用 jq 过滤出两个按钮的对应值。
agent-desktop snapshot --app Finder --window-id "替换为当前窗口ID" -i > finder-after.json
jq '.. | objects | select(.role? == "radiobutton" and (.name? == "图标视图" or .name? == "列表视图")) | {name, value}' finder-after.json


















