讲师中心 微信公众号
AI工具推荐 视频效率加速

Python多线程系统学习路线第536讲_核心原理与实战案例详解【技巧】

风敏君_6499

风敏君_6499

发布时间:2025-12-25 22:02:48

|

730人浏览过

|

来源于php中文网

原创

Python多线程无法并行执行CPU密集型任务,因CPython的GIL强制字节码串行执行;仅IO密集型任务能受益,因其等待时释放GIL;CPU密集型应选multiprocessing或asyncio。

python多线程系统学习路线第536讲_核心原理与实战案例详解【技巧】

Python 的多线程并不真正并行执行 CPU 密集型任务,这是由 GIL(全局解释器锁)决定的——它让同一时刻只有一个线程执行 Python 字节码。

为什么 threading 模块跑不满多核?

根本原因不是代码写得不对,而是 CPython 解释器的设计选择:为内存管理安全,GIL 会强制串行化字节码执行。即使你开了 8 个 threading.Thread,CPU 密集型运算(如数值计算、加密、递归)依然只占用一个逻辑核心。

常见错误现象:

  • 用 time.time() 测总耗时,发现 4 线程版本比单线程还慢
  • top 或任务管理器里 CPU 使用率始终卡在 100%(单核满载),而非 400%
  • 线程数调到 os.cpu_count() 以上毫无收益,甚至因上下文切换拖慢整体

适用场景反而是:IO 密集型 操作(文件读写、网络请求、数据库查询)。此时线程在等待响应时会主动释放 GIL,其他线程得以运行。

立即学习“Python免费学习笔记(深入)”;

threading.Thread 的关键参数与陷阱

最常被忽略的是 daemon 参数,默认为 False。非守护线程会阻塞主程序退出,哪怕主线程执行完了,只要还有非守护子线程在跑,Python 进程就不会结束。

Shadows Python Sensei
Shadows Python Sensei

Python 最佳实践助手——代码规范、设计模式、性能优化、测试与类型注解。适用于编写或审查 Python 代码。

下载

实操建议:

  • 后台轮询、日志上报等不需等待完成的任务,显式设 daemon=True
  • 涉及资源清理(如关闭文件、断开连接)的线程,务必保持 daemon=False,并用 join() 显式等待
  • 避免在 __init__ 中直接启动线程;应先实例化,再调 start() —— 否则异常可能发生在构造过程中,难以捕获
  • target 函数若抛出未捕获异常,该线程静默死亡,不会传播到主线程,也无 traceback 输出(除非重写 run() 并加 try/except)

如何验证 GIL 的影响?用 time.sleep 和 math.sin 对比

下面两个例子能直观体现 GIL 的“开关”效果:

import threading
import time
import math
<h1>IO 模拟:sleep 会释放 GIL,多线程有效加速</h1><p>def io<em>task(n):
for </em> in range(n):
time.sleep(0.001)</p><h1>CPU 模拟:math.sin 不触发系统调用,GIL 持有时间长</h1><p>def cpu<em>task(n):
x = 0.1
for </em> in range(n):
x = math.sin(x) + 0.001</p><h1>测试函数(略去计时包装)</h1><h1>结果:io_task 多线程耗时 ≈ 单线程 / 线程数;cpu_task 多线程耗时 ≈ 单线程 × 1.1~1.3(因调度开销)

注意:math.sin 是纯 Python 调用的 C 函数,但它不释放 GIL;而 time.sleep 是系统调用,会主动让出 GIL。这种差异正是判断某操作是否受 GIL 制约的关键线索。

替代方案:什么时候该换 multiprocessing 或 asyncio?

当你的任务确实是 CPU 密集型,且必须提速时,threading 就是错的选择。此时应考虑:

  • multiprocessing.Process:绕过 GIL 的最直接方式,每个进程有独立解释器和内存空间,适合数据可序列化、任务边界清晰的场景
  • concurrent.futures.ProcessPoolExecutor:比裸用 multiprocessing 更简洁,支持 map、submit 和统一异常处理
  • asyncio:适用于高并发 IO(如万级 HTTP 请求),但要求所有调用都是异步的(aiohttp、aiomysql),同步库(requests、sqlite3)会阻塞整个 event loop

别试图用 threading 强行“优化” CPU 任务——这不是技巧问题,是模型误用。真正要学的不是怎么写更多线程,而是怎么识别任务类型,再选对抽象层。

热门AI工具

更多
Seko
Seko Hot

一款AI视频创作工具,主要用于商汤科技推出的创编一体的AI短视频创作Agent,适合需要提升相关任务效率的用户。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

LibLibAI
LibLibAI Hot

一款AI视频创作工具,主要用于国内领先的AI创意平台,以海量模型、低门槛操作与“创作-分享-商业化”生态,让小白与专业创作者都能高效实现图文乃至视频创意表达,适合需要提升相关任务效率的用户。

Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

相关专题

更多
线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

3518

2023.08.10

Python 多线程与异步编程实战
Python 多线程与异步编程实战

本专题系统讲解 Python 多线程与异步编程的核心概念与实战技巧,包括 threading 模块基础、线程同步机制、GIL 原理、asyncio 异步任务管理、协程与事件循环、任务调度与异常处理。通过实战示例,帮助学习者掌握 如何构建高性能、多任务并发的 Python 应用。

1009

2025.12.24

java多线程相关教程合集
java多线程相关教程合集

本专题整合了java多线程相关教程,阅读专题下面的文章了解更多详细内容。

343

2026.01.21

C++多线程相关合集
C++多线程相关合集

本专题整合了C++多线程相关教程,阅读专题下面的的文章了解更多详细内容。

479

2026.01.21

C# 多线程与异步编程
C# 多线程与异步编程

本专题深入讲解 C# 中多线程与异步编程的核心概念与实战技巧,包括线程池管理、Task 类的使用、async/await 异步编程模式、并发控制与线程同步、死锁与竞态条件的解决方案。通过实际项目,帮助开发者掌握 如何在 C# 中构建高并发、低延迟的异步系统,提升应用性能和响应速度。

329

2026.02.06

C++多线程并发控制与线程安全设计实践
C++多线程并发控制与线程安全设计实践

本专题围绕 C++ 在高性能系统开发中的并发控制技术展开,系统讲解多线程编程模型与线程安全设计方法。内容包括互斥锁、读写锁、条件变量、原子操作以及线程池实现机制,同时结合实际案例分析并发竞争、死锁避免与性能优化策略。通过实践讲解,帮助开发者掌握构建稳定高效并发系统的关键技术。

193

2026.03.16

Java 多线程与并发编程实战
Java 多线程与并发编程实战

深入讲解 Java 并发编程体系,涵盖 Thread / Runnable / Callable 线程创建方式、线程生命周期与状态转换、synchronized 同步锁与 Lock/ReentrantLock 显式锁、volatile 可见性保证、ThreadPool 线程池配置与调优(核心参数/拒绝策略)、JUC 并发工具类(CountDownLatch/CyclicBarrier/Semaphore/ConcurrentHashMa

289

2026.04.17

C++ 多线程使用教程大全
C++ 多线程使用教程大全

系统讲解 C++11 及后续标准引入的多线程编程能力,涵盖 std::thread 线程创建与生命周期管理、std::mutex / shared_mutex 互斥锁与读写锁、std::condition_variable 条件变量同步、std::atomic 原子操作与内存序(memory_order)、std::future / promise / async 异步任务、线程池的设计与实现、死锁检测与避免策略,帮助开发者编写正确高效

156

2026.04.28

Buffalo框架数据库开发全教程
Buffalo框架数据库开发全教程

本专题围绕Buffalo框架数据库开发,讲解database.yml多环境配置、soda与fizz迁移生成回滚、模型结构体标签、增删改查与条件查询、一对多与多对多关联、数据校验、回调钩子、事务处理及原生SQL执行能力。

20

2026.09.23

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL vs MySQL
PostgreSQL vs MySQL

共1课时 | 172人学习

使用phpenv集成环境安装极致CMS
使用phpenv集成环境安装极致CMS

共2课时 | 274人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn