讲师中心 微信公众号
AI工具推荐 视频效率加速

Python爬虫验证码识别慢怎么办_多线程模型与Ddddocr异步调用

雨明姑娘_4411

雨明姑娘_4411

发布时间:2026-04-25 21:25:27

|

1016人浏览过

|

来源于php中文网

原创

识别慢的根源在于同步阻塞调用,而非ddddocr本身性能差;应解耦图像获取与OCR计算,复用ocr实例并用多线程池并行处理。

python爬虫验证码识别慢怎么办_多线程模型与ddddocr异步调用

识别慢不是因为 ddddocr 本身慢,而是你把它塞进了同步阻塞流程里——比如在 Selenium 循环里逐个截图、逐个调用 ocr.classification(),全程单线程卡着等。真想提速,得拆开「图像获取」和「OCR计算」两个阶段,让它们并行跑起来。

为什么 ddddocr 调用会拖慢整个爬虫

ddddocr 的 classification() 方法是纯 CPU 计算,不涉及 IO,但它默认是同步阻塞的。如果你在主线程里连续调用 10 次,就是 10 次串行计算,中间没法穿插网络请求或截图操作。更糟的是,很多人把 screenshot_as_png 和 classification() 写在同一层 for 循环里,导致:截图 → 等 OCR → 截图 → 等 OCR……完全没发挥出多核能力。

常见错误现象:time.time() 测出来单次识别要 300–800ms,10 张图就耗掉 5 秒以上,而实际网络请求可能总共才 2 秒。

  • 别在 Selenium 主线程里直接调用 ocr.classification(),尤其别在 for url in urls: 循环体内反复 new 一个 DdddOcr()
  • DdddOcr() 实例初始化有开销,应复用,不要每次识别都重造
  • 避免把图像读取(Image.open() 或 bytes 解析)和 OCR 放进同一个同步函数里打包执行

用多线程池预加载 + 复用 ocr 实例

核心思路:把「截图获取」和「OCR 识别」解耦,用 concurrent.futures.ThreadPoolExecutor 管理识别任务,主线程只管调度和截图,识别全丢给工作线程。

立即学习“Python免费学习笔记(深入)”;

实操建议:

  • 全局只初始化一次 ocr = DdddOcr(),传给线程池的 worker 函数,别每个线程都 new 一个
  • 截图后立刻转成 bytes(如 img_bytes = driver.find_element(...).screenshot_as_png),不落地存文件,减少 IO 延迟
  • 提交任务时用 executor.submit(ocr.classification, img_bytes),返回 Future 对象,主线程可继续发下一个截图请求
  • 批量处理时,用 list(executor.map(...)) 更简洁,但注意它会阻塞等待全部完成;若需流式处理,改用 as_completed()

示例片段:

Python Use Agent
Python Use Agent

智能执行Python任务,自动生成、执行代码并反馈结果,无需额外配置,兼容旧命令。

下载
from concurrent.futures import ThreadPoolExecutor
from ddddocr import DdddOcr
<p>ocr = DdddOcr()  # 复用实例</p><p>def recognize_captcha(img_bytes):
return ocr.classification(img_bytes)</p><p>with ThreadPoolExecutor(max_workers=4) as executor:
futures = []
for i in range(5):
img_bytes = driver.find<em>element(By.ID, f"code</em>{i}").screenshot_as_png
futures.append(executor.submit(recognize_captcha, img_bytes))</p><pre class='brush:python;toolbar:false;'>results = [f.result() for f in futures]  # 按提交顺序收结果</pre>

异步调用 ddddocr?目前不现实

ddddocr 底层是 C++ 编译的模型推理,没有暴露异步接口,也没有 async def classification() 版本。强行套 asyncio.to_thread() 包一层,只是把线程池调用“伪装”成 async,并不能提升吞吐——反而因事件循环调度增加微小开销。

所以别折腾 await ocr.classification() 这种写法。真正值得异步化的是:网络请求(aiohttp)、浏览器控制(playwright async)、代理 IP 切换等 IO 密集环节。OCR 识别就老实用多线程池,它本来就是 CPU-bound 场景的最佳匹配。

容易踩的坑:

  • 设太多 max_workers(比如 >8),CPU 频繁上下文切换,识别总耗时反而上升
  • 在 Jupyter 或某些 IDE 里运行多线程时没加 if __name__ == "__main__":,导致子进程反复 import 全局变量出错
  • 忽略图像质量:模糊、过小(ddddocr 也白搭,预处理比换并发模型更重要

识别前必须做的三件事(比并发还关键)

再快的并发,喂进去的是噪声图,结果也是错的。很多“识别慢”其实是反复重试导致的——因为第一次识别错了,又去截图重来。

务必在调用 ocr.classification() 前做:

  • 确认截图区域干净:用 element.location_once_scrolled_into_view 确保元素可见,避开遮挡或加载中的空白图
  • 检查图片格式:if len(img_bytes) 直接跳过,很可能是返回了 HTML 错误页而非图片
  • 简单预处理:对灰度图做二值化(cv2.threshold(..., cv2.THRESH_BINARY | cv2.THRESH_OTSU))能稳定提升 15–30% 正确率,尤其对抗浅色干扰线

复杂点在于:验证码类型决定你能不能省掉人工干预。滑块、点选、文字+干扰线混合的图,ddddocr 效果有限,这时候并发再快也没用——该切第三方打码平台就得切,别硬刚。

热门AI工具

更多
DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

墨刀AI
墨刀AI Hot

一款AI图像与设计工具,主要用于产品经理的专属智能体,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

VibeKnow
VibeKnow Hot

一款AI视频创作工具,主要用于全球首个AI知识视频创作平台,文档、文章、网页,一键生成视频,适合需要提升相关任务效率的用户。

超级简历WonderCV

一款AI办公效率工具,主要用于免费求职简历模版下载制作,应届生职场人必备简历制作神器,适合需要提升相关任务效率的用户。

LibLibAI
LibLibAI Hot

一款AI视频创作工具,主要用于国内领先的AI创意平台,以海量模型、低门槛操作与“创作-分享-商业化”生态,让小白与专业创作者都能高效实现图文乃至视频创意表达,适合需要提升相关任务效率的用户。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

相关专题

更多
python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

1631

2023.07.20

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

4004

2023.07.25

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

1629

2023.07.31

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

23057

2023.08.03

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2827

2023.08.04

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2867

2023.08.04

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

1123

2023.08.11

python合并两个列表
python合并两个列表

Python是一种强大的编程语言,具有许多方便的功能和工具。在Python中,有多种方法可以合并两个列表。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

596

2023.08.10

LLVM自定义Pass怎么写
LLVM自定义Pass怎么写

本专题聚焦LLVM自定义Pass开发,整理Pass类结构、run()方法、PreservedAnalyses、CMake构建、插件注册、-load-pass-plugin加载和测试用例编写流程。

20

2026.09.30

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn