用agent-desktop操作桌面软件,可以按“读取应用界面—找到目标控件ref—点击该ref—再次读取界面”的循环推进。以下从已经安装工具且目标应用可访问的环境开始;控件引用应来自当前界面,不能把示例编号当成每台电脑通用的按钮编号。
先读取应用界面,而不是猜点击位置
工具读取桌面应用界面,并以结构化内容返回可操作元素及其引用。Agent据此决定点击或输入的目标,执行后再观察界面变化。
它承担界面读取和操作这一层,任务目标和下一步判断仍由外部Agent组织。开始时明确目标应用和希望完成的动作,避免在没有当前界面信息时直接执行连续点击。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

桌面控件引用、JSON输出和观察循环说明
从snapshot中取到本次有效的ref
在Mac的Finder示例中,先读取应用界面:
agent-desktop snapshot --app Finder -i
从返回内容中找到需要操作的控件,再使用它的实际ref。下面的引用只属于示例,执行前应换成刚才返回的目标引用:
agent-desktop click @s8f3k2p9:e8 agent-desktop snapshot --app Finder -i
点击后再次运行snapshot,检查是否进入预期位置。如果界面已经变化,下一步继续使用新状态里的引用,避免反复沿用旧编号。

snapshot、click与再次读取界面的命令示例
结合新界面确认动作是否完成
操作后检查目标区域是否发生预期变化,例如目标列表被选中、相应内容已显示,或者出现了需要处理的新窗口。没有达到目标时,先读取当前状态,再调整下一步。
不同系统和软件中的应用名称与控件结构不同。Finder命令属于Mac示例;处理Windows应用时,应读取实际目标应用,不能直接照搬Finder作为应用名称。

事件查看器中的原生控件操作示例
界面快照和命令输出可能包含当前文件、窗口与内容信息。保存任务记录时只保留必要材料,避免将包含个人内容的完整输出直接放进公开记录。


















