讲师中心 微信公众号

工具推荐

视频效率加速
Seko
Seko

AI短剧一键生成成片

updream

一键生成高质量推广成片

Laper
Laper

剧本策划到成片协作

剧云
剧云

中文短剧剧本制作平台

Python 多进程适用场景分析

阿墨吖_7855

阿墨吖_7855

发布时间:2026-02-23 20:21:15

|

460人浏览过

|

来源于php中文网

原创

CPU密集型任务必须用multiprocessing,因CPython的GIL使threading无法加速计算;IO密集型则优先选threading或asyncio。

python 多进程适用场景分析

什么时候该用 multiprocessing,而不是 threading

CPU 密集型任务必须用 multiprocessing,因为 threading 在 CPython 下受 GIL 限制,多线程跑计算几乎不提速。

典型场景:图像批量处理、数值模拟、加密解密、大量本地数据聚合(比如用 pandas 做 groupby+apply)。

  • IO 密集型(如发 HTTP 请求、读写文件)反而优先选 threading 或 asyncio,multiprocessing 启动开销大,进程间通信成本高
  • 如果你的“多进程”代码跑得比单进程还慢,大概率是任务太轻量,或者频繁在进程间传大数据(比如把整个 df 传给每个子进程)
  • multiprocessing.Pool 默认启动和 CPU 核数一样多的进程,但不是越多越好——内存占用会线性增长,Linux 下还可能触发 OOM Killer

Pool.map 和 Pool.apply_async 怎么选

Pool.map 简单直接,适合输入可迭代、函数无副作用、结果顺序必须严格对应输入顺序的场景;apply_async 更灵活,但得自己管理回调和异常。

Python Dependency Candidate Fetcher 2
Python Dependency Candidate Fetcher 2

根据包的能力以及 Jupyter 环境中的导入语句,从候选列表中挑选最适合用户表格工作流的 Python 包。

下载
  • Pool.map 会阻塞直到全部完成,中间一个出错(比如某次计算抛 ZeroDivisionError),整个调用就崩,错误堆栈也难定位到具体是第几个输入项
  • apply_async 可以配合 error_callback 捕获子进程异常,也能用 get(timeout=...) 控制等待时间,避免卡死
  • 如果输入数据量极大(比如千万级 ID),别一次性 map 全部,改用 imap 或 imap_unordered 流式处理,内存更稳

子进程拿不到主进程的变量或类实例

这是最常被卡住的点:子进程是全新 Python 解释器实例,不会自动继承主进程的全局变量、已导入模块状态、数据库连接、日志 handler 等。

立即学习“Python免费学习笔记(深入)”;

  • 所有需要的数据,必须显式通过参数传入——注意 list、dict 这类可变对象会被序列化(pickle),传过去的是副本,改了不影响主进程
  • 不要试图在子进程中调用 logging.info 期望它输出到主进程的 logger——得重新配置,或统一用 print + 主进程收集 stdout
  • 像 torch 或 tensorflow 这种底层库,若主进程已初始化 CUDA 上下文,子进程里再 init 很可能报 cudaErrorInitializationError,得在子进程里单独处理设备逻辑

Windows 下启动失败或卡在 “Starting processes…”

Windows 没有 fork,multiprocessing 必须走 spawn 方式重载模块,所以入口代码必须包在 if __name__ == '__main__': 里,否则子进程会递归启动新进程。

  • 漏写这个判断,程序可能无限 fork,CPU 占满,任务没跑起来就挂了
  • 如果用了 pyinstaller 打包,还要额外加 --multiprocessing-fork 参数,不然打包后运行照样卡住
  • 某些 IDE(比如 PyCharm 的默认配置)调试时会干扰 spawn,建议先命令行运行验证逻辑
事情说清了就结束。真正难的不是怎么写 multiprocessing,而是判断“这活儿到底值不值得拆成多进程”——多数时候瓶颈其实在磁盘 IO 或算法本身,而不是 CPU 核数。

热门AI工具

更多
SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

切问学术

切问学术是一款AI论文写作工具,复旦大学NLP团队推出的AI学术智能体。

创客贴AI

创客贴AI是一款AI图像与设计工具,AI辅助的智能在线设计工具。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

PixPix
PixPix Hot

PixPix是一款面向电商视觉生产的AI商品图生成工具。

PixTV
PixTV Hot

PixTV是一款面向AIGC内容创作的AI视频生成工具。

相关专题

更多
Python 时间序列分析与预测
Python 时间序列分析与预测

本专题专注讲解 Python 在时间序列数据处理与预测建模中的实战技巧,涵盖时间索引处理、周期性与趋势分解、平稳性检测、ARIMA/SARIMA 模型构建、预测误差评估,以及基于实际业务场景的时间序列项目实操,帮助学习者掌握从数据预处理到模型预测的完整时序分析能力。

340

2025.12.04

Python 数据清洗与预处理实战
Python 数据清洗与预处理实战

本专题系统讲解 Python 在数据清洗与预处理中的核心技术,包括使用 Pandas 进行缺失值处理、异常值检测、数据格式化、特征工程与数据转换,结合 NumPy 高效处理大规模数据。通过实战案例,帮助学习者掌握 如何处理混乱、不完整数据,为后续数据分析与机器学习模型训练打下坚实基础。

272

2026.01.31

Python数据分析与Pandas高级实战
Python数据分析与Pandas高级实战

本专题围绕 Python 数据分析展开,系统讲解 Pandas 的高级用法,包括数据清洗、透视表、时间序列分析以及多表合并与分组操作。通过实战案例,帮助开发者掌握高效处理与分析数据的方法,提高数据处理效率与分析能力。

851

2026.04.13

python中print函数的用法
python中print函数的用法

python中print函数的语法是“print(value1, value2, ..., sep=' ', end=' ', file=sys.stdout, flush=False)”。本专题为大家提供print相关的文章、下载、课程内容,供大家免费下载体验。

3360

2023.09.27

python print用法与作用
python print用法与作用

本专题整合了python print的用法、作用、函数功能相关内容,阅读专题下面的文章了解更多详细教程。

269

2026.02.03

全局变量怎么定义
全局变量怎么定义

本专题整合了全局变量相关内容,阅读专题下面的文章了解更多详细内容。

5185

2025.09.18

python 全局变量
python 全局变量

本专题整合了python中全局变量定义相关教程,阅读专题下面的文章了解更多详细内容。

2190

2025.09.18

c++ 全局变量
c++ 全局变量

本专题整合了c++全局变量的使用、定义、作用域等等内容,阅读专题下面的文章了解更多详细内容。

199

2026.03.17

Postman身份认证怎么配置
Postman身份认证怎么配置

本专题从实际API接口调试场景出发,讲解Postman身份认证的完整配置流程,包括常见认证协议介绍、授权参数设置、访问令牌填写、OAuth 2.0授权及认证失败排查,帮助用户正确完成接口授权与访问验证。

40

2026.11.06

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn