应依次启用屏幕权限、配置Qwen-VL多模态OCR端点、编写game_ocr_skill.js实现文字捕获与攻略匹配、用snapshot提升精度、部署nanobot实现语音反馈。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
如果您在运行游戏时希望获得实时文字识别与攻略提示，但OpenClaw无法准确读取屏幕中的动态文本或触发对应操作，则可能是由于屏幕捕获权限缺失、OCR模型未启用或多模态端点配置错误。以下是解决此问题的步骤：
一、启用系统级屏幕录制与辅助功能权限
OpenClaw需操作系统授予屏幕内容访问权，否则截图为空白或仅返回黑屏，导致后续OCR无法执行。macOS与Windows对辅助工具权限管控严格，必须显式授权。
1、在macOS中，打开“系统设置”→“隐私与安全性”→“屏幕录制”，勾选终端应用及openclaw进程。
2、继续在同一设置页中点击“辅助功能”，在列表中启用“Terminal”和“OpenClaw Helper”。
3、在Windows中，进入“设置”→“蓝牙和其他设备”→“其他设备”→“辅助功能”，开启“允许应用访问你的设备”并添加openclaw.exe为可信程序。
4、重启OpenClaw服务使权限生效：未重启将导致权限不生效，所有截图操作持续失败。
二、配置多模态OCR端点并加载Qwen-VL模型
OpenClaw默认不启用视觉理解能力，必须手动指定支持vision的本地模型端点，否则screenshot动作仅保存图像而无法提取文字。
1、编辑配置文件~/.openclaw/openclaw.json，在models.providers下新增qwen-local区块。
2、确保multimodal字段设为true，并在models数组中包含id为qwen-vl且vision为true的条目。
3、确认baseUrl指向本地运行的Qwen3.5-9B-AWQ-4bit服务（如http://localhost:5000/v1）。
4、启动Qwen服务时须挂载视觉权重：docker run -v ~/qwen-data:/data -p 5000:5000 registry.starscope.cn/qwen3.5-9b-awq-4bit --vision-enabled。
5、验证端点可用性：curl -X POST http://localhost:5000/v1/chat/completions -H "Content-Type: application/json" -d '{"model":"qwen-vl","messages":[{"role":"user","content":[{"type":"image_url","image_url":{"url":"data:image/png;base64,..."}},{"type":"text","text":"识别图中文字"}]}]}'。
三、编写专用Skills实现游戏内文字捕获与攻略匹配
OpenClaw需通过自定义Skill将屏幕截图、OCR识别、关键词匹配、攻略检索三步串联，形成闭环响应流，而非依赖通用browser动作。
1、在~/.openclaw/skills/目录下新建game_ocr_skill.js文件。
2、定义trigger为快捷键组合（如Ctrl+Alt+G），调用browser(action="screenshot", fullPage=false)捕获当前窗口。
3、使用vision(action="describe", image=base64_data, prompt="精确提取所有可见文字，逐行输出，不加解释")调用Qwen-VL。
4、对OCR结果执行正则匹配：检测是否含“Boss血量”、“任务目标”、“剩余时间”等游戏UI特征词。
5、若匹配成功，则从本地攻略库（如~/game-guides/elden-ring.json）中检索对应条目并语音朗读或弹窗显示。
6、将该Skill注册进openclaw.json的skills数组，并执行openclaw skill reload重载。
四、使用snapshot替代screenshot提升文字提取精度
screenshot仅生成图像，而snapshot可直接解析DOM或渲染树文本节点，在部分游戏Overlay界面（如Steam Overlay、NVIDIA Freestyle）中更稳定可靠。
1、确认游戏运行于支持Web技术栈的Overlay环境（如基于CEF的HUD）。
2、执行browser(action="snapshot", targetId="game-overlay", mode="efficient")获取结构化文本快照。
3、设置mode="full"可强制提取所有文本节点，包括CSS隐藏但语义存在的元素。
4、对snapshot返回的JSON结果遍历text属性，过滤空值与重复项，生成干净攻略输入源。
5、当游戏使用DirectX/OpenGL全屏渲染且无Overlay时，snapshot将不可用，必须回退至OCR路径。
五、部署nanobot服务增强低延迟语音反馈
纯OCR+文本匹配后若仅以文字形式推送攻略，视障用户或沉浸式玩家体验受限；接入nanobot可实现毫秒级TTS播报，形成“看-识-说”完整链路。
1、拉取nanobot镜像：docker pull registry.cn-hangzhou.aliyuncs.com/xxx/nanobot:latest。
2、运行服务并暴露端口：docker run -d --gpus all -p 8000:8000 nanobot --tts-model=qwen-tts-4bit。
3、在openclaw.json中新增nanobot provider，baseUrl设为http://localhost:8000/v1。
4、修改game_ocr_skill.js，在攻略匹配成功后插入tts(action="speak", text=guide_text, voice="zh-CN-XiaochenNeural")调用。
5、测试语音延迟：使用system_profiler SPHardwareDataType | grep "Graphics"确认GPU型号，RTX 4060及以上显卡可保障TTS首字延迟低于300ms。
