讲师中心 微信公众号
AI工具推荐 视频效率加速

Python multiprocessing 性能陷阱解析

陌萱小哥_4505

陌萱小哥_4505

发布时间:2026-01-31 12:50:04

|

336人浏览过

|

来源于php中文网

原创

根本原因是每次启动新进程都触发完整Python解释器初始化,且spawn方式需pickle主进程状态;实操需用if name == "__main__":包裹、避免顶层重IO、慎用Pool传参。

python multiprocessing 性能陷阱解析

为什么 multiprocessing.Process 启动慢得反常?

根本原因不是 CPU 不够,而是每次启动新进程都触发完整的 Python 解释器初始化:导入 sys、os、重建模块缓存、甚至重新读取 site-packages。尤其在 Windows 或 macOS 上,spawn 启动方式(默认)会 pickle 主进程状态,若主模块里有不可序列化的对象(比如打开的文件句柄、threading.Lock),还会静默失败或卡住。

实操建议:

立即学习“Python免费学习笔记(深入)”;

  • 用 if __name__ == "__main__": 严格包裹 multiprocessing 启动代码,避免子进程重复执行导入逻辑
  • Windows/macOS 下避免在主模块顶层做重 IO 或大对象初始化(如加载模型、读大文件),挪到 target 函数内部按需加载
  • 考虑改用 fork 启动方式(Linux only):mp.set_start_method("fork"),但注意它不隔离内存,可能引发意外共享

multiprocessing.Pool 传参时数据被复制了几次?

答案是:至少两次——一次从主进程序列化(pickle),一次在子进程反序列化。如果传入的是大 NumPy 数组、Pandas DataFrame 或嵌套字典,这个开销会直接吃掉并行收益,甚至比单进程还慢。

实操建议:

立即学习“Python免费学习笔记(深入)”;

  • 优先用 multiprocessing.shared_memory(Python 3.8+)或 mp.Array/mp.Value 管理只读大数组,避免 pickle
  • 把数据路径(而非数据本身)传给子进程,让每个 worker 自己加载,配合 joblib.Memory 缓存可进一步减少重复 IO
  • 慎用 pool.map_async 的 chunksize 参数:太小 → 频繁调度开销;太大 → 负载不均;建议设为 len(data) // (4 * pool._processes)

为什么用了多进程,CPU 占用却只有 100%?

这通常意味着你没真正跑满所有核心,常见于三类情况:I/O 瓶颈、GIL 干扰、或任务粒度太小。特别注意,multiprocessing 只能绕过 GIL 对 CPU 密集型任务有效;如果目标函数大量调用 C 扩展(如 NumPy 向量化操作),GIL 本就不构成瓶颈,加进程反而引入调度和通信成本。

直播间话术巡检-windows
直播间话术巡检-windows

直播话术巡检系统(Windows版) — 实时语音转写、关键词检测、场景自动切换、告警推送、大屏可视化。支持 Windows VB-Cable 虚拟声卡音频采集,阿里云 ASR 实时识别。一键启动脚本,自动安装环境。

下载

实操建议:

立即学习“Python免费学习笔记(深入)”;

  • 用 time.perf_counter() 和 psutil.cpu_percent(percpu=True) 分别测单任务耗时与各核实时占用,确认是否真卡在计算上
  • 检查是否误用 threading 混合 multiprocessing:线程间共享变量在多进程下不生效,且可能因锁竞争拖慢整体
  • 对纯计算任务,确保函数体中没有隐式 I/O(如日志写磁盘、print()、访问网络配置文件)

子进程抛异常,主进程为什么只看到 BrokenProcessPool?

因为默认情况下,子进程的 traceback 不会自动回传。当你看到 concurrent.futures.process.BrokenProcessPool 或 mp.pool.MaybeEncodingError,大概率是子进程在 unpickle 参数或执行时崩溃了,但主进程连错在哪都不知道。

实操建议:

立即学习“Python免费学习笔记(深入)”;

  • 在 target 函数最外层加 try/except Exception as e: print(e); raise,强制把错误打到子进程 stdout(再重定向到文件更稳妥)
  • 改用 concurrent.futures.ProcessPoolExecutor,它的 submit().result() 会原样抛出子进程异常,包括完整 traceback
  • 避免在 target 中使用闭包变量或 lambda:它们依赖主进程命名空间,在 spawn 模式下容易 unpickle 失败

真正的性能拐点往往不在“开多少进程”,而在于数据怎么进、结果怎么出、以及异常发生时你能不能一眼定位到哪行代码在子进程里悄悄挂了。

相关文章

数码产品性能查询
数码产品性能查询

该软件包括了市面上所有手机CPU,手机跑分情况,电脑CPU,电脑产品信息等等,方便需要大家查阅数码产品最新情况,了解产品特性,能够进行对比选择最具性价比的商品。

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
PixTV
PixTV Hot

PixTV是一款面向AIGC内容创作的AI视频生成工具。

墨刀AI
墨刀AI Hot

一款AI图像与设计工具,主要用于产品经理的专属智能体,适合需要提升相关任务效率的用户。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

小橡皮AI

一款AI工具,主要用于小橡皮一键去AI味,将机器味重的内容改得更有活人感,防止因为 AI 内容被平台打上 AI 标签,以及限流,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

相关专题

更多
Python 时间序列分析与预测
Python 时间序列分析与预测

本专题专注讲解 Python 在时间序列数据处理与预测建模中的实战技巧,涵盖时间索引处理、周期性与趋势分解、平稳性检测、ARIMA/SARIMA 模型构建、预测误差评估,以及基于实际业务场景的时间序列项目实操,帮助学习者掌握从数据预处理到模型预测的完整时序分析能力。

320

2025.12.04

Python 数据清洗与预处理实战
Python 数据清洗与预处理实战

本专题系统讲解 Python 在数据清洗与预处理中的核心技术,包括使用 Pandas 进行缺失值处理、异常值检测、数据格式化、特征工程与数据转换,结合 NumPy 高效处理大规模数据。通过实战案例,帮助学习者掌握 如何处理混乱、不完整数据,为后续数据分析与机器学习模型训练打下坚实基础。

252

2026.01.31

Python数据分析与Pandas高级实战
Python数据分析与Pandas高级实战

本专题围绕 Python 数据分析展开,系统讲解 Pandas 的高级用法,包括数据清洗、透视表、时间序列分析以及多表合并与分组操作。通过实战案例,帮助开发者掌握高效处理与分析数据的方法,提高数据处理效率与分析能力。

691

2026.04.13

python中print函数的用法
python中print函数的用法

python中print函数的语法是“print(value1, value2, ..., sep=' ', end=' ', file=sys.stdout, flush=False)”。本专题为大家提供print相关的文章、下载、课程内容,供大家免费下载体验。

3080

2023.09.27

python print用法与作用
python print用法与作用

本专题整合了python print的用法、作用、函数功能相关内容,阅读专题下面的文章了解更多详细教程。

269

2026.02.03

lambda表达式
lambda表达式

Lambda表达式是一种匿名函数的简洁表示方式,它可以在需要函数作为参数的地方使用,并提供了一种更简洁、更灵活的编码方式,其语法为“lambda 参数列表: 表达式”,参数列表是函数的参数,可以包含一个或多个参数,用逗号分隔,表达式是函数的执行体,用于定义函数的具体操作。本专题为大家提供lambda表达式相关的文章、下载、课程内容,供大家免费下载体验。

1051

2023.09.15

python lambda函数
python lambda函数

本专题整合了python lambda函数用法详解,阅读专题下面的文章了解更多详细内容。

345

2025.11.08

Python lambda详解
Python lambda详解

本专题整合了Python lambda函数相关教程,阅读下面的文章了解更多详细内容。

574

2026.01.05

Gradle插件开发入门教程
Gradle插件开发入门教程

本专题介绍Gradle插件开发的基本流程,涵盖插件类编写、自定义任务注册、扩展参数设计和插件应用方法,帮助你理解插件如何组织构建逻辑,减少多个项目之间的重复配置。

120

2026.10.22

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn