基于 Apple Vision + ScreenCaptureKit 的 macOS 屏幕 OCR 及点击自动化工具。捕获任意窗口或屏幕区域，提取带坐标的文本，定位文本并点击...
屏幕- vision : macOS 屏幕 OCR 点击由 Apple Vision + ScreenCapture Kit 供电的自动化 CLI.
功能概述
屏幕- vision : macOS 屏幕 OCR 点击由 Apple Vision + ScreenCapture Kit 供电的自动化 CLI.是一项面向实际任务的技能，主要用于IMPORANT: Auto-Setup( 运行先). 在运行任何屏幕- vision 命令之前, 请检查二进制是否为。它将相关步骤、工具调用和结果整理方式集中到统一流程中，帮助使用者更快完成目标并减少重复操作。
核心要点
- 使用时应结合输入条件选择合适的执行方式，核对必要参数、依赖环境与输出内容，并按原始要求处理异常情况。
- 从功能定位来看，该技能强调把分散的操作要求整理成清晰、可复用的处理流程，使用户能够围绕既定目标快速准备输入、选择执行方式并获得结构化结果。
- 实际使用前应先确认任务范围、数据来源、运行环境、必要权限和关键参数，再依据技能说明逐步执行；
使用与执行
若输入条件不完整，应先补齐信息或采用保守配置，避免因错误假设导致结果偏离需求。执行过程中需要关注工具调用是否成功、接口或依赖是否可用、输出格式是否符合预期，并对异常提示、缺失字段和边界情况进行处理；
结果检查与注意事项
涉及批量任务时，还应保存进度，避免中断后重复操作。该技能适合用于一次性任务，也可以接入自动化工作流，与其他技能或上层代理配合完成更完整的业务链路；在组合使用时，应明确每一步的输入输出关系，并避免不同步骤之间出现参数冲突。
screen-vision
基于 Apple Vision 与 ScreenCaptureKit 的 macOS 屏幕 OCR 及点击自动化命令行工具。
重要：自动安装（请首先运行）
在执行任意 screen-vision 命令前，请先检查二进制文件是否存在。若不存在，请运行安装脚本：
command -v screen-vision &>/dev/null || bash "${CLAUDE_SKILL_DIR}/setup.sh"
该脚本将自动安装 screen-vision（通过 Homebrew 或源码编译）以及 cliclick。
系统要求
- macOS 14.0+（Sonoma）
- 屏幕录制权限（系统设置 → 隐私与安全性 → 屏幕录制）
命令列表
| 命令 | 说明 | 输出 |
|---|---|---|
screen-vision ocr [--app NAME] |
全屏 OCR | JSON 数组 [{text, x, y, w, h, confidence}] |
screen-vision list [--app NAME] |
OCR 文本列表（带坐标） | 人类可读的文本，附带坐标信息 |
screen-vision find "text" [--app NAME] |
查找指定文本 | JSON 对象 {text, x, y, found} |
screen-vision has "text" [--app NAME] |
检查文本是否存在 | 退出码为 0（找到）或 1（未找到） |
screen-vision tap "text" [--app NAME] [--retry N] |
查找并点击文本 | JSON 对象 {text, x, y, tapped} |
screen-vision wait "text" [--timeout SEC] |
轮询等待文本出现 | JSON 对象 {text, x, y, found} |
截图优先级
--region x,y,w,h > --app "AppName" > 全屏（默认）
常用使用模式
对特定应用窗口执行 OCR
screen-vision list --app "Safari"
检查文本是否可见（用于条件判断）
screen-vision has "Submit" --app "MyApp" && echo "Found" || echo "Not found"
点击文本并重试（最多 3 次）
screen-vision tap "OK" --app "MyApp" --retry 3
等待文本出现（例如等待加载完成）
screen-vision wait "Complete" --timeout 30
全屏 OCR 并以 JSON 格式输出（可配合 jq 处理）
screen-vision ocr | jq '.[].text'
$ARGUMENTS 参数处理逻辑
解析用户请求，以确定应执行哪条命令：
- "화면에 뭐 있어?" / "what's on screen?" →
screen-vision list - "~찾아" / "find ~" →
screen-vision find "text" - "~클릭해" / "click ~" →
screen-vision tap "text" - "~보여?" / "is ~ visible?" →
screen-vision has "text" - "~뜰 때까지 기다려" / "wait for ~" →
screen-vision wait "text"
热门AI工具
相关专题
本专题介绍Gradle插件开发的基本流程，涵盖插件类编写、自定义任务注册、扩展参数设计和插件应用方法，帮助你理解插件如何组织构建逻辑，减少多个项目之间的重复配置。
0
2026.10.22
本专题介绍Gradle Wrapper的基本作用，涵盖文件组成、生成方法、版本配置和任务调用，帮助你理解项目如何使用指定的Gradle版本，减少不同开发环境带来的构建差异。
0
2026.10.22
本专题整理Golangci-lint常用Linters的用途与配置方法，覆盖错误处理、无效代码、安全、复杂度、命名和依赖检查，帮助项目合理选规则。
0
2026.10.22
本专题介绍Gradle Java项目构建方法，涵盖Java插件配置、依赖声明、源码编译、测试执行和打包检查，帮助你理解各阶段的任务关系，逐步完成项目构建。
0
2026.10.22
本专题汇总PHP常见时间戳漏洞，包括2038年溢出、时区漂移、时间戳伪造、重放攻击、时间盲注与日志审计失效等，并给出升级64位环境、使用 DateTimeImmutable、统一UTC、严格超时校验、预处理绑定、hash_equals 比对等修复方案，帮助开发者快速排查和加固时间相关代码。
0
2026.10.22
本专题聚焦Golangci-lint YAML配置文件，讲清运行参数、规则启停、目录排除、问题过滤及严重级别设置，便于团队统一检查标准。
0
2026.10.22
本专题讲解Golangci-lint的安装、初始化、基础命令和首次代码检查，覆盖本地环境、Docker及多平台用法，帮助Go开发者快速上手。
0
2026.10.22
PHP2Shell漏洞是什么，哪些PHP版本和运行环境会受到影响，服务器应该如何检测与修复？本专题提供版本自查脚本、Linux与Docker升级命令、PHP-FPM和Apache排查步骤，以及修复验证、临时缓解和应急响应方案。
0
2026.10.22
热门下载
相关下载
精品课程
共6课时 | 12.1万人学习
共79课时 | 161.5万人学习
共6课时 | 54.7万人学习
