讲师中心 微信公众号

工具推荐

视频效率加速
剧云
剧云

中文短剧剧本制作平台

SoundView
SoundView

字幕擦除翻译、配音口型同步

Laper
Laper

剧本策划到成片协作

updream

一键生成高质量推广成片

Python中的多进程如何实现 多进程与多线程有什么区别

胖明大大_8813

胖明大大_8813

发布时间:2025-06-25 13:58:02

|

296人浏览过

|

来源于php中文网

原创

python中实现多进程主要依赖multiprocessing模块,该模块提供process类、pool类等来创建和管理进程。1.使用process类可创建独立进程,通过target参数指定执行函数;2.使用pool类可创建进程池,自动分配任务并控制并发数量;3.进程间通信可通过queue、pipe、value、array等机制实现;4.选择进程数量应根据cpu核心数合理设定,避免系统开销过大;5.多进程适用于cpu密集型任务和需要资源隔离的场景,而多线程更适合io密集型任务;6.调试多进程程序时建议使用日志记录或pdb调试器,同时注意处理僵尸进程问题。所有进程完成后主程序会输出“所有进程完成”信息。

Python中的多进程如何实现 多进程与多线程有什么区别

Python中实现多进程,主要依赖multiprocessing模块。它允许你创建和管理多个独立的Python解释器进程,从而真正实现并行执行,特别是在CPU密集型任务中能显著提升性能。多进程和多线程的主要区别在于资源隔离和并发模型。多进程拥有独立的内存空间,而多线程共享同一进程的内存空间。

Python中的多进程如何实现 多进程与多线程有什么区别

multiprocessing模块提供了Process类、Pool类等多种方式来创建和管理进程。

Python中的多进程如何实现 多进程与多线程有什么区别

解决方案

立即学习“Python免费学习笔记(深入)”;

  1. 使用Process类创建进程:

    Python中的多进程如何实现 多进程与多线程有什么区别

    这是最基本的创建进程的方式。你需要创建一个继承自Process的类,并重写run方法,或者直接使用Process类,并传入一个可调用对象作为target参数。

    import multiprocessing
    import time
    
    def worker(num):
        """工作进程函数"""
        print(f"进程 {num} 启动")
        time.sleep(2)  # 模拟耗时操作
        print(f"进程 {num} 结束")
    
    if __name__ == '__main__':
        processes = []
        for i in range(3):
            p = multiprocessing.Process(target=worker, args=(i,))
            processes.append(p)
            p.start()
    
        for p in processes:
            p.join()  # 等待所有进程结束
    
        print("所有进程完成")

    这段代码创建了3个独立的进程,每个进程执行worker函数。p.join()确保主进程等待所有子进程完成后再退出。

  2. 使用Pool类创建进程池:

    进程池可以更方便地管理大量进程,并控制并发数量。Pool类会自动分配任务给空闲进程。

    import multiprocessing
    import time
    
    def worker(num):
        """工作进程函数"""
        print(f"进程 {num} 启动")
        time.sleep(2)  # 模拟耗时操作
        print(f"进程 {num} 结束")
        return num * num
    
    if __name__ == '__main__':
        with multiprocessing.Pool(processes=4) as pool:  # 创建一个包含4个进程的进程池
            results = pool.map(worker, range(5))  # 将worker函数应用于range(5)中的每个元素
            # pool.close() # 关闭进程池,不再接受新的任务
            # pool.join()  # 等待所有进程完成
    
        print("所有进程完成")
        print("结果:", results) # 输出每个任务的结果

    这里创建了一个包含4个进程的进程池,pool.map将worker函数应用于range(5)的每个元素,并将结果收集到results列表中。使用with语句可以自动管理进程池的生命周期,避免资源泄漏。

  3. 进程间通信:

    使用 Claude Agent SDK 将绑定的 Claude 代码会话嵌入到 Python 自动化中
    使用 Claude Agent SDK 将绑定的 Claude 代码会话嵌入到 Python 自动化中

    当现有的脚本或服务需要将作用域化的仓库工作委托给 Claude Code 并以编程方式消费结构化响应时,请使用 Claude Agent SDK for Python。

    下载

    由于多进程拥有独立的内存空间,进程间通信需要使用特定的机制,例如Queue、Pipe、Value、Array等。

    import multiprocessing
    
    def sender(queue):
        """发送数据到队列"""
        print("发送进程启动")
        queue.put("Hello from process!")
        print("发送进程结束")
    
    def receiver(queue):
        """从队列接收数据"""
        print("接收进程启动")
        message = queue.get()
        print(f"接收到消息: {message}")
        print("接收进程结束")
    
    if __name__ == '__main__':
        queue = multiprocessing.Queue()
        p1 = multiprocessing.Process(target=sender, args=(queue,))
        p2 = multiprocessing.Process(target=receiver, args=(queue,))
    
        p1.start()
        p2.start()
    
        p1.join()
        p2.join()
    
        print("所有进程完成")

    这个例子使用Queue在两个进程之间传递消息。

多进程与多线程的适用场景

  • CPU密集型任务: 多进程更适合CPU密集型任务,因为可以利用多核CPU并行计算,避免GIL(全局解释器锁)的限制。
  • IO密集型任务: 多线程在IO密集型任务中表现更好,因为线程切换的开销比进程切换小,可以更高效地利用CPU时间。
  • 需要资源隔离的任务: 多进程由于拥有独立的内存空间,更适合需要资源隔离的任务,可以避免线程间的资源竞争和数据污染。

如何选择进程数量

进程数量并非越多越好。过多的进程会增加系统开销,导致性能下降。通常,进程数量设置为CPU核心数或核心数的2倍是一个不错的选择。你可以通过multiprocessing.cpu_count()获取CPU核心数。

多进程调试的技巧

多进程调试比单进程调试更复杂。可以使用pdb调试器,或者使用日志记录来跟踪进程的执行情况。另外,确保在调试过程中正确处理进程间通信,避免死锁或数据丢失。

进程间共享数据的方式有哪些

除了Queue和Pipe,还可以使用Value和Array在进程间共享数据。Value用于共享单个变量,Array用于共享数组。这些共享对象需要使用锁机制来避免并发访问冲突。

多进程出现僵尸进程如何处理

僵尸进程是指已经完成执行,但其父进程没有调用wait或waitpid来回收其资源的进程。长时间积累僵尸进程会导致系统资源耗尽。可以使用signal模块注册信号处理函数来处理僵尸进程。例如,捕获SIGCHLD信号,并在信号处理函数中调用waitpid来回收子进程资源。

热门AI工具

更多
花生AI
花生AI Hot

一款AI视频创作工具,主要用于B站推出的AI视频创作工具,适合需要提升相关任务效率的用户。

创客贴AI

创客贴AI是一款AI图像与设计工具,AI辅助的智能在线设计工具。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

PixPix
PixPix Hot

PixPix是一款面向电商视觉生产的AI商品图生成工具。

蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

相关专题

更多
线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

5038

2023.08.10

Python 多线程与异步编程实战
Python 多线程与异步编程实战

本专题系统讲解 Python 多线程与异步编程的核心概念与实战技巧,包括 threading 模块基础、线程同步机制、GIL 原理、asyncio 异步任务管理、协程与事件循环、任务调度与异常处理。通过实战示例,帮助学习者掌握 如何构建高性能、多任务并发的 Python 应用。

1409

2025.12.24

java多线程相关教程合集
java多线程相关教程合集

本专题整合了java多线程相关教程,阅读专题下面的文章了解更多详细内容。

463

2026.01.21

C++多线程相关合集
C++多线程相关合集

本专题整合了C++多线程相关教程,阅读专题下面的的文章了解更多详细内容。

619

2026.01.21

C# 多线程与异步编程
C# 多线程与异步编程

本专题深入讲解 C# 中多线程与异步编程的核心概念与实战技巧,包括线程池管理、Task 类的使用、async/await 异步编程模式、并发控制与线程同步、死锁与竞态条件的解决方案。通过实际项目,帮助开发者掌握 如何在 C# 中构建高并发、低延迟的异步系统,提升应用性能和响应速度。

449

2026.02.06

C++多线程并发控制与线程安全设计实践
C++多线程并发控制与线程安全设计实践

本专题围绕 C++ 在高性能系统开发中的并发控制技术展开,系统讲解多线程编程模型与线程安全设计方法。内容包括互斥锁、读写锁、条件变量、原子操作以及线程池实现机制,同时结合实际案例分析并发竞争、死锁避免与性能优化策略。通过实践讲解,帮助开发者掌握构建稳定高效并发系统的关键技术。

293

2026.03.16

Java 多线程与并发编程实战
Java 多线程与并发编程实战

深入讲解 Java 并发编程体系,涵盖 Thread / Runnable / Callable 线程创建方式、线程生命周期与状态转换、synchronized 同步锁与 Lock/ReentrantLock 显式锁、volatile 可见性保证、ThreadPool 线程池配置与调优(核心参数/拒绝策略)、JUC 并发工具类(CountDownLatch/CyclicBarrier/Semaphore/ConcurrentHashMa

409

2026.04.17

C++ 多线程使用教程大全
C++ 多线程使用教程大全

系统讲解 C++11 及后续标准引入的多线程编程能力,涵盖 std::thread 线程创建与生命周期管理、std::mutex / shared_mutex 互斥锁与读写锁、std::condition_variable 条件变量同步、std::atomic 原子操作与内存序(memory_order)、std::future / promise / async 异步任务、线程池的设计与实现、死锁检测与避免策略,帮助开发者编写正确高效

256

2026.04.28

Nginx CVE-2026-123007排查与防护指南
Nginx CVE-2026-123007排查与防护指南

Nginx HTTP/2漏洞该怎么修复?本专题围绕CVE-2026-123007,介绍安全版本升级、模块兼容检查和配置恢复方法,以及日志排查、权限设置等后续加固操作,方便你按实际部署情况查找对应教程。

0

2026.11.20

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
HTML教程
HTML教程

共500课时 | 11.2万人学习

Python 并发编程实战
Python 并发编程实战

共12课时 | 1.1万人学习

Linux 教程
Linux 教程

共28课时 | 57.4万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn