讲师中心 微信公众号

工具推荐

视频效率加速
updream

一键生成高质量推广成片

Laper
Laper

剧本策划到成片协作

剧云
剧云

中文短剧剧本制作平台

Seko
Seko

AI短剧一键生成成片

Python多进程系统学习路线第217讲_核心原理与实战案例详解【教程】

小涛小哥_4554

小涛小哥_4554

发布时间:2025-12-27 20:52:03

|

712人浏览过

|

来源于php中文网

原创

Python多进程需用if name == '__main__':保护主模块,否则spawn方式下子进程重复导入导致递归或失败;Pool.map适合同构批量阻塞处理,apply_async适用于异步单任务;共享状态须用Value、Array、Manager或Lock等IPC机制,禁用全局变量。

python多进程系统学习路线第217讲_核心原理与实战案例详解【教程】

Python 多进程不是“开多个线程就能并行”的简单替换,multiprocessing 模块背后依赖操作系统级的进程创建(fork 或 spawn),数据不共享、通信需显式设计、启动开销大——这些特性直接决定你能不能真正压榨 CPU,而不是写出一堆假并行代码。

为什么 Process 启动后不执行目标函数?

常见于 Windows 或 macOS 上使用 spawn 启动方式时,主模块未加 if __name__ == '__main__': 保护。子进程重新导入模块,导致重复触发 Process(...).start(),形成无限递归或静默失败。

  • 必须把进程创建和启动逻辑放在 if __name__ == '__main__': 块内
  • 在 Linux 上用 fork 可能“侥幸”通过,但跨平台代码必须守这条规则
  • PyInstaller 打包后也常因缺少该判断报错,错误信息类似:AttributeError: Can't get attribute 'worker' on <module ...></module>

Pool 的 map 和 apply_async 到底怎么选?

Pool.map 是阻塞式批量分发,适合输入数据同构、处理逻辑一致、且你愿意等全部结果;apply_async 是非阻塞单任务提交,适合任务耗时差异大、需要提前响应、或要动态控制并发数。

Windows 图片打印
Windows 图片打印

通过 Python 使用 mspaint /pt 在 Windows 上打印图像——绕过 bash 中文路径编码问题。

下载
  • map 内部会自动切分可迭代对象,但整个调用会阻塞直到所有子任务完成
  • apply_async 返回 AsyncResult 对象,需手动调用 .get(timeout=...) 获取结果,超时抛 multiprocessing.TimeoutError
  • 若传入函数引用了闭包变量或 lambda,spawn 方式下会序列化失败,改用普通函数 + 显式参数传递

如何安全地在多进程间共享状态?

别直接用全局变量,它在每个进程中是独立副本。真要共享,得用 multiprocessing 提供的同步原语:

立即学习“Python免费学习笔记(深入)”;

  • 只读数据:用 multiprocessing.Value(标量)或 multiprocessing.Array(一维数组),支持 ctypes 类型,如 Value('i', 0)
  • 复杂结构:用 multiprocessing.Manager() 创建代理对象(dict, list, Namespace),但性能较差,因为走进程间通信(IPC)
  • 计数/开关类状态:优先用 multiprocessing.Semaphore、Lock 或 Event,避免竞态;Lock 必须在子进程中显式 acquire/release,不能依赖 with 语句自动释放(某些 spawn 场景下上下文管理器失效)
from multiprocessing import Process, Value, Lock
<p>def worker(shared<em>counter, lock):
for </em> in range(1000):
with lock:  # 安全递增
shared_counter.value += 1</p><p>if <strong>name</strong> == '<strong>main</strong>':
counter = Value('i', 0)
lock = Lock()
processes = [Process(target=worker, args=(counter, lock)) for _ in range(4)]
for p in processes:
p.start()
for p in processes:
p.join()
print(counter.value)  # 输出 4000</p>

真正难的从来不是启动几个进程,而是判断哪些数据必须隔离、哪些可以共享、共享时要不要加锁、加锁会不会拖慢整体吞吐——这些决策没标准答案,得看你的数据规模、CPU 密集度、IO 占比和错误容忍度。

热门AI工具

更多
VibeKnow
VibeKnow Hot

一款AI视频创作工具,主要用于全球首个AI知识视频创作平台,文档、文章、网页,一键生成视频,适合需要提升相关任务效率的用户。

立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

创客贴AI

创客贴AI是一款AI图像与设计工具,AI辅助的智能在线设计工具。

Flowith
Flowith Hot

Flowith是一款基于画布和智能体工作流的 AI 协作工作空间。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

相关专题

更多
全局变量怎么定义
全局变量怎么定义

本专题整合了全局变量相关内容,阅读专题下面的文章了解更多详细内容。

5185

2025.09.18

python 全局变量
python 全局变量

本专题整合了python中全局变量定义相关教程,阅读专题下面的文章了解更多详细内容。

2210

2025.09.18

c++ 全局变量
c++ 全局变量

本专题整合了c++全局变量的使用、定义、作用域等等内容,阅读专题下面的文章了解更多详细内容。

199

2026.03.17

lambda表达式
lambda表达式

Lambda表达式是一种匿名函数的简洁表示方式,它可以在需要函数作为参数的地方使用,并提供了一种更简洁、更灵活的编码方式,其语法为“lambda 参数列表: 表达式”,参数列表是函数的参数,可以包含一个或多个参数,用逗号分隔,表达式是函数的执行体,用于定义函数的具体操作。本专题为大家提供lambda表达式相关的文章、下载、课程内容,供大家免费下载体验。

1131

2023.09.15

python lambda函数
python lambda函数

本专题整合了python lambda函数用法详解,阅读专题下面的文章了解更多详细内容。

345

2025.11.08

Python lambda详解
Python lambda详解

本专题整合了Python lambda函数相关教程,阅读下面的文章了解更多详细内容。

654

2026.01.05

C++ Lambda 表达式与函数式编程
C++ Lambda 表达式与函数式编程

深入讲解 C++ Lambda 表达式与函数式编程范式,涵盖 Lambda 基础语法与返回值推导、值捕获与引用捕获的区别与陷阱、初始化捕获(C++14 广义捕获)、泛型 Lambda(auto 参数)、mutable 关键字修改捕获变量、std::function 类型擦除与函数包装、std::bind 参数绑定(及其被 Lambda 替代的趋势)、Lambda 在 STL 算法(sort/transform/for_each/remo

829

2026.05.06

Java 函数式接口与 Lambda 进阶技巧
Java 函数式接口与 Lambda 进阶技巧

在 Java Stream 基础之上进一步深入函数式编程,涵盖 @FunctionalInterface 注解与自定义函数式接口设计、四种方法引用(静态/实例/对象/构造器)的使用场景、Lambda 中的 effectively final 变量捕获规则、函数组合(andThen/compose)与柯里化技巧、Comparator 链式比较器构建、CompletableFuture 异步函数式编排、Reactor / RxJava 响应

448

2026.05.08

Postman身份认证怎么配置
Postman身份认证怎么配置

本专题从实际API接口调试场景出发,讲解Postman身份认证的完整配置流程,包括常见认证协议介绍、授权参数设置、访问令牌填写、OAuth 2.0授权及认证失败排查,帮助用户正确完成接口授权与访问验证。

40

2026.11.06

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Python uv官方安装与入门文档
Python uv官方安装与入门文档

共0课时 | 0人学习

Buffalo框架快速入门指南
Buffalo框架快速入门指南

共0课时 | 0人学习

Valgrind支持平台说明
Valgrind支持平台说明

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn