讲师中心 微信公众号
AI工具推荐 视频效率加速

Python多线程与多进程实战_异步任务调度与竞态控制

落婷君_5961

落婷君_5961

发布时间:2026-01-01 11:21:33

|

644人浏览过

|

来源于php中文网

原创

多线程适合I/O密集型任务,因等待时释放GIL;CPU密集型任务应选多进程以绕过GIL;异步编程需配合线程池或进程池处理阻塞操作;共享资源必须用锁等机制显式同步。

python多线程与多进程实战_异步任务调度与竞态控制

多线程适合I/O密集型任务,但受GIL限制

CPython解释器存在全局解释器锁(GIL),导致同一时刻只有一个线程执行Python字节码。这意味着CPU密集型任务用多线程无法真正并行,性能提升有限甚至更慢。但对网络请求、文件读写、数据库查询等I/O操作,线程在等待时会主动释放GIL,让其他线程运行,此时多线程能显著提升吞吐量。

建议:用 threading 或 concurrent.futures.ThreadPoolExecutor 管理线程池。控制最大线程数(如 10–20),避免创建过多线程引发上下文切换开销或系统资源耗尽。例如并发抓取100个网页,设 max_workers=15 通常比盲目开100个线程更稳定高效。

多进程绕过GIL,真正并行处理CPU密集任务

每个进程拥有独立内存空间和Python解释器,不受GIL约束,适合图像处理、数值计算、加密解密等CPU-heavy场景。但进程启动开销大、内存占用高、进程间通信(IPC)比线程间共享变量复杂。

Secure Python Code Sandbox
Secure Python Code Sandbox

安全 Python 代码沙箱:在隔离的沙箱中执行任意 Python 代码,预装 requests、NumPy、pandas 库。返回 stdout、stderr。

下载

建议:
• 用 multiprocessing 模块或 concurrent.futures.ProcessPoolExecutor
• 避免在子进程中直接引用不可序列化的对象(如lambda、嵌套函数、某些类实例),否则会报 PicklingError
• 大数据传递优先用 multiprocessing.Manager、Queue 或共享内存(multiprocessing.Array/Value),而非全局变量

异步任务调度推荐使用 asyncio + ThreadPoolExecutor/ProcessPoolExecutor

纯 asyncio 适合高并发I/O(如万级HTTP长连接),但无法直接运行阻塞调用(如 time.sleep()、requests.get())。正确做法是把同步阻塞操作“外包”给线程池或进程池,用 loop.run_in_executor() 调度:

立即学习“Python免费学习笔记(深入)”;

await loop.run_in_executor(pool, blocking_func, *args)
• I/O阻塞函数 → 交给 ThreadPoolExecutor
• CPU阻塞函数 → 交给 ProcessPoolExecutor
这样既保持async代码结构清晰,又规避了GIL和阻塞问题。实际项目中常见混合模式:主协程调度,I/O走线程池,计算走进程池。

竞态条件必须显式控制,不能依赖“看起来安全”

多线程/多进程共享资源(如全局计数器、文件、数据库记录)时,读-改-写操作极易出错。例如 counter += 1 实际分三步:读值→计算→写回,中间可能被其他线程打断。

解决方式按场景选择:
• 线程内:用 threading.Lock 或 threading.RLock 包裹临界区
• 进程间:用 multiprocessing.Lock,或通过 Manager().Value() + 锁配合
• 更高阶需求:用 threading.Condition 实现等待通知,或 queue.Queue 替代手动共享列表(它内部已加锁)
• 数据库操作:靠事务隔离级别(如READ COMMITTED)+ 行级锁(SELECT ... FOR UPDATE)保障一致性,不要在线程里自己“查再改”

热门AI工具

更多
创客贴AI

创客贴AI是一款AI图像与设计工具,AI辅助的智能在线设计工具。

立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

音述AI
音述AI Hot

一款AI音频处理工具,主要用于音述AI是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区,适合需要提升相关任务效率的用户。

PixTV
PixTV Hot

PixTV是一款面向AIGC内容创作的AI视频生成工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

相关专题

更多
全局变量怎么定义
全局变量怎么定义

本专题整合了全局变量相关内容,阅读专题下面的文章了解更多详细内容。

4805

2025.09.18

python 全局变量
python 全局变量

本专题整合了python中全局变量定义相关教程,阅读专题下面的文章了解更多详细内容。

2030

2025.09.18

c++ 全局变量
c++ 全局变量

本专题整合了c++全局变量的使用、定义、作用域等等内容,阅读专题下面的文章了解更多详细内容。

199

2026.03.17

lambda表达式
lambda表达式

Lambda表达式是一种匿名函数的简洁表示方式,它可以在需要函数作为参数的地方使用,并提供了一种更简洁、更灵活的编码方式,其语法为“lambda 参数列表: 表达式”,参数列表是函数的参数,可以包含一个或多个参数,用逗号分隔,表达式是函数的执行体,用于定义函数的具体操作。本专题为大家提供lambda表达式相关的文章、下载、课程内容,供大家免费下载体验。

1051

2023.09.15

python lambda函数
python lambda函数

本专题整合了python lambda函数用法详解,阅读专题下面的文章了解更多详细内容。

345

2025.11.08

Python lambda详解
Python lambda详解

本专题整合了Python lambda函数相关教程,阅读下面的文章了解更多详细内容。

594

2026.01.05

C++ Lambda 表达式与函数式编程
C++ Lambda 表达式与函数式编程

深入讲解 C++ Lambda 表达式与函数式编程范式,涵盖 Lambda 基础语法与返回值推导、值捕获与引用捕获的区别与陷阱、初始化捕获(C++14 广义捕获)、泛型 Lambda(auto 参数)、mutable 关键字修改捕获变量、std::function 类型擦除与函数包装、std::bind 参数绑定(及其被 Lambda 替代的趋势)、Lambda 在 STL 算法(sort/transform/for_each/remo

749

2026.05.06

Java 函数式接口与 Lambda 进阶技巧
Java 函数式接口与 Lambda 进阶技巧

在 Java Stream 基础之上进一步深入函数式编程,涵盖 @FunctionalInterface 注解与自定义函数式接口设计、四种方法引用(静态/实例/对象/构造器)的使用场景、Lambda 中的 effectively final 变量捕获规则、函数组合(andThen/compose)与柯里化技巧、Comparator 链式比较器构建、CompletableFuture 异步函数式编排、Reactor / RxJava 响应

428

2026.05.08

Vite 项目如何打包和部署
Vite 项目如何打包和部署

Vite项目打包部署专题汇集生产构建、产物预览、输出目录、资源路径、Nginx与GitHub Pages部署及常见白屏和路由404问题的已审核文章,帮助读者完成上线流程。

20

2026.10.28

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Uvicorn官方安装与入门手册
Uvicorn官方安装与入门手册

共0课时 | 0人学习

Python uv官方项目管理指南
Python uv官方项目管理指南

共0课时 | 0人学习

Python uv官方安装与入门文档
Python uv官方安装与入门文档

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn