点击式验证码本质是语义理解与区域定位任务，需先用OpenCV预处理图像（裁剪、去噪、光照均衡），再交由轻量视觉模型（如YOLOv5s或MobileNetV3）推理识别，而非依赖OCR或简单模板匹配。
点击式验证码的本质是“图像+交互”，不是纯OCR问题
网页上的点击式验证码（比如“点击所有包含红绿灯的图片”“选出所有摩托车”）本质上是要求模型理解图像语义并定位区域，而不是识别文字。OpenCV 本身不带目标检测或分类能力，强行用 cv2.threshold 或 cv2.matchTemplate 去“找红绿灯”只会失败——它连“红绿灯长什么样”都不知道。
真正可行的路径是：先用 OpenCV 做预处理（裁剪、去噪、归一化），再把处理后的图交给轻量级视觉模型（如 ONNX 格式的 YOLOv5s、MobileNetV3 分类模型）做推理。OpenCV 在这里只是“图像搬运工”和“前端清洗工”，不是识别主力。
- 直接拿原始截图喂
cv2.findContours→ 找不到语义目标，只得到一堆边缘噪点 - 用
cv2.cvtColor(img, cv2.COLOR_BGR2HSV)提取红色区域 → 对“红绿灯”这种多色+多形态目标漏检率极高 - 依赖网页返回的坐标提示（如 data-offset 属性）→ 很多新版验证码已隐藏 DOM 交互痕迹，不可靠
用OpenCV预处理点击图的三个硬性动作
验证码弹窗通常含阴影、边框、文字干扰，模型输入前必须稳定裁切。OpenCV 的作用在此不可替代，但每步都有坑：
-
固定宽高比裁剪：多数点击题是 3×3 或 4×4 网格，先用
cv2.findContours找最外层矩形，再按比例分割。别用cv2.resize强行拉伸，会扭曲目标形状 -
去除水印/文字干扰：用
cv2.inpaint+cv2.MORPH_CLOSE消掉小块噪点；对半透明文字，先cv2.threshold转二值，再用cv2.bitwise_and掩膜保留主体 -
统一光照与对比度：不同浏览器截图亮度差异大，必须用
cv2.createCLAHE(clipLimit=2.0, tileGridSize=(8,8))做自适应均衡，不用cv2.equalizeHist（只适用灰度全局）
调用ONNX模型做点击决策时的关键参数
Python 部署阶段推荐用 onnxruntime，比 PyTorch 小且快。模型输入尺寸、归一化方式、输出解析逻辑必须和训练时完全一致，否则结果全错：
立即学习“Python免费学习笔记（深入）”；
- 输入
shape必须是(1, 3, 224, 224)（以 MobileNetV3 为例），别漏掉 batch 维度；用cv2.dnn.blobFromImage而非手写除法归一化 - 标签映射文件
labels.txt必须和训练时顺序严格一致，例如第 0 类是“红绿灯”，第 1 类是“自行车”——换顺序就全点反了 - 置信度阈值别设
>0.5：实测在验证码场景下，>0.75才能压住误触；同时加np.argsort(scores)[::-1][:3]取 Top3，防单点失效
绕过浏览器反爬与截图时机的实战细节
自动识别失败，80% 出在“图没截对”。Selenium 截图容易卡在加载中，Playwright 更稳，但仍有陷阱：
- 等元素出现不能只靠
presence_of_element_located，要加visibility_of_element_located+element_to_be_clickable三重判断 - 截图前执行
page.evaluate("window.scrollTo(0, document.body.scrollHeight)")，否则验证码弹窗可能被遮挡或未渲染 - 用
page.screenshot(full_page=True, type="png", omit_background=True)，避免默认白底干扰模型输入 - 本地测试时，Chrome 的
--headless=new模式可能导致 Canvas 渲染异常，务必关掉 headless 或换 Firefox
真正的难点从来不在“怎么识别”，而在于“怎么拿到一张干净、完整、时机刚好的图”。OpenCV 是刀，但握刀的手得知道什么时候出刀、砍哪一段。
