讲师中心 微信公众号
AI工具推荐 视频效率加速

Python 多进程并发模型解析

阿辰同学_8711

阿辰同学_8711

发布时间:2026-01-31 14:02:05

|

660人浏览过

|

来源于php中文网

原创

multiprocessing子进程不继承主线程全局变量修改,因其通过fork或spawn新建独立内存空间;Pool的maxtasksperchild用于定期重启worker防内存泄漏;Queue传大对象慢因序列化开销大,应优先用shared_memory;Windows下不加if name == "__main__":会导致子进程重复执行顶层代码而崩溃。

python 多进程并发模型解析

为什么 multiprocessing 启动的子进程不继承主线程的全局变量修改?

因为子进程是通过 fork(Unix/Linux/macOS)或 spawn(Windows/部分 macOS 配置)方式全新创建的,内存空间独立。主线程对全局变量(如 config = {"debug": True})的运行时修改,不会自动同步到子进程中。

常见错误现象:在主进程中改了 LOG_LEVEL,子进程里打印仍是默认值;或用 global 修饰的变量在子进程里为空。

  • Unix 系统下若用 fork 启动方式,子进程会复制父进程的内存快照,但后续修改互不影响
  • Windows 必须用 spawn,每次启动子进程都会重新导入模块、执行顶层代码,所以连初始值都要靠模块重载保证一致
  • 跨平台安全做法:把配置显式传给子进程,例如通过 Process(target=worker, args=(config,)) 或使用 multiprocessing.Manager().dict()

multiprocessing.Pool 的 maxtasksperchild 有什么实际作用?

它控制每个子进程最多处理多少个任务后自动退出并被新进程替换。不是“限制并发数”,而是用于缓解内存泄漏或状态累积问题。

使用场景:长期运行的 worker 处理大量任务,且内部使用了无法自动释放的资源(如未关闭的文件句柄、缓存不断增长的字典、第三方 C 库的静态状态)。

立即学习“Python免费学习笔记(深入)”;

macOS UI 自动化技能包 —— 用 Python 控制你的 Mac
macOS UI 自动化技能包 —— 用 Python 控制你的 Mac

让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac,无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启:辅助功能 + 屏幕录制权限

下载
  • 设为 None(默认):子进程永生,风险是内存缓慢上涨
  • 设为 100:每处理完 100 个任务就重启该 worker,开销小但能重置内存和状态
  • 注意:重启有轻微调度成本,别设成 1;也别依赖子进程间共享可变状态,因为它随时可能被换掉

为什么用 multiprocessing.Queue 传大对象比 pipe 更慢还容易卡住?

因为 Queue 底层基于 Pipe + 单独的监控线程 + 序列化(pickle),而大对象序列化耗时高,且 Queue 有内置缓冲区大小限制(默认无限,但受系统 pipe buffer 和内存影响)。

典型错误现象:传一个 500MB 的 numpy.ndarray,主进程卡在 q.put(arr),子进程迟迟收不到;或出现 OSError: [Errno 32] Broken pipe。

  • 优先考虑 multiprocessing.shared_memory(Python 3.8+)共享内存块,避免拷贝和序列化
  • 若必须用 Queue,提前调用 arr = np.ascontiguousarray(arr) 加速 pickle,或改用 joblib.dump/load 分块序列化
  • Pipe 更轻量,适合点对点、少量高频通信,但它不支持多生产者/消费者,也不能用在 Pool 场景中

Windows 下 if __name__ == "__main__" 不加会导致什么?

子进程启动时会重新执行整个脚本顶层代码,包括再次创建 Pool、再次导入模块、甚至重复初始化数据库连接——最终引发 RuntimeError: An attempt has been made to start a new process before the current process has finished its bootstrapping phase。

这不是风格建议,而是 Windows 的 spawn 启动机制强制要求。

  • 所有使用 multiprocessing 的脚本,在 Windows 或跨平台分发时,必须把 Pool/Process 创建逻辑包进 if __name__ == "__main__": 块
  • PyInstaller 打包后也遵循同样规则,漏写会导致生成的 exe 在双击运行时报错退出
  • macOS/Linux 虽可用 fork 暂时绕过,但一旦切换启动方法(如设置 mp.set_start_method("spawn")),同样崩溃

多进程真正难的不是启动几个子进程,而是数据怎么传、状态怎么管、异常怎么捕获、资源怎么回收。尤其当逻辑从单进程迁移到多进程时,看似只改两行代码,实则每处变量访问都得重新评估作用域和生命周期。

热门AI工具

更多
UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

PixTV
PixTV Hot

PixTV是一款面向AIGC内容创作的AI视频生成工具。

火山引擎

火山引擎是一款面向企业的云计算与AI服务平台。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

墨刀AI
墨刀AI Hot

一款AI图像与设计工具,主要用于产品经理的专属智能体,适合需要提升相关任务效率的用户。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

相关专题

更多
全局变量怎么定义
全局变量怎么定义

本专题整合了全局变量相关内容,阅读专题下面的文章了解更多详细内容。

4765

2025.09.18

python 全局变量
python 全局变量

本专题整合了python中全局变量定义相关教程,阅读专题下面的文章了解更多详细内容。

1990

2025.09.18

c++ 全局变量
c++ 全局变量

本专题整合了c++全局变量的使用、定义、作用域等等内容,阅读专题下面的文章了解更多详细内容。

199

2026.03.17

线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

4398

2023.08.10

windows查看端口占用情况
windows查看端口占用情况

Windows端口可以认为是计算机与外界通讯交流的出入口。逻辑意义上的端口一般是指TCP/IP协议中的端口,端口号的范围从0到65535,比如用于浏览网页服务的80端口,用于FTP服务的21端口等等。怎么查看windows端口占用情况呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

3299

2023.07.26

查看端口占用情况windows
查看端口占用情况windows

端口占用是指与端口关联的软件占用端口而使得其他应用程序无法使用这些端口,端口占用问题是计算机系统编程领域的一个常见问题,端口占用的根本原因可能是操作系统的一些错误,服务器也可能会出现端口占用问题。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2878

2023.07.27

windows照片无法显示
windows照片无法显示

当我们尝试打开一张图片时,可能会出现一个错误提示,提示说"Windows照片查看器无法显示此图片,因为计算机上的可用内存不足",本专题为大家提供windows照片无法显示相关的文章,帮助大家解决该问题。

1508

2023.08.01

windows查看端口被占用的情况
windows查看端口被占用的情况

windows查看端口被占用的情况的方法:1、使用Windows自带的资源监视器;2、使用命令提示符查看端口信息;3、使用任务管理器查看占用端口的进程。本专题为大家提供windows查看端口被占用的情况的相关的文章、下载、课程内容,供大家免费下载体验。

2619

2023.08.02

Gradle插件开发入门教程
Gradle插件开发入门教程

本专题介绍Gradle插件开发的基本流程,涵盖插件类编写、自定义任务注册、扩展参数设计和插件应用方法,帮助你理解插件如何组织构建逻辑,减少多个项目之间的重复配置。

100

2026.10.22

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Python uv官方安装与入门文档
Python uv官方安装与入门文档

共0课时 | 0人学习

Buffalo框架快速入门指南
Buffalo框架快速入门指南

共0课时 | 0人学习

Valgrind支持平台说明
Valgrind支持平台说明

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn