讲师中心 微信公众号
AI工具推荐 视频效率加速

Python进程间通信机制_queue解析【教程】

风强大大_5537

风强大大_5537

发布时间:2025-12-31 16:49:23

|

328人浏览过

|

来源于php中文网

原创

Python中应使用multiprocessing.Queue而非queue.Queue进行进程间通信,因其基于管道或共享内存并内置序列化与同步机制,而普通队列不支持跨进程内存共享。

python进程间通信机制_queue解析【教程】

Python 中的 queue 模块本身**不是为多进程设计的**,直接在多个进程间使用普通 queue.Queue 会导致数据丢失、阻塞异常甚至程序崩溃。真正用于进程间通信(IPC)的是 multiprocessing.Queue —— 它是专为跨进程安全传输数据而实现的底层队列。

为什么不能用 threading.Queue 做进程通信?

因为进程拥有独立内存空间,threading.Queue 依赖线程共享内存和锁机制,在多进程中无法同步状态。两个进程各自持有一个 Queue 实例,彼此完全隔离,消息根本传不过去。

而 multiprocessing.Queue 底层基于 pipe(匿名管道)或 spawned process + shared memory(取决于平台和 Python 版本),并自带序列化(pickle)、锁、条件变量等机制,确保跨进程读写安全。

multiprocessing.Queue 的基本用法

它接口与 queue.Queue 高度兼容,常用方法包括:

立即学习“Python免费学习笔记(深入)”;

macOS UI 自动化技能包 —— 用 Python 控制你的 Mac
macOS UI 自动化技能包 —— 用 Python 控制你的 Mac

让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac,无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启:辅助功能 + 屏幕录制权限

下载
  • put(item, block=True, timeout=None):向队列插入对象(自动 pickle 序列化)
  • get(block=True, timeout=None):取出对象(自动反序列化)
  • empty() 和 qsize():注意——这两个方法在多进程下不保证实时准确,仅作参考,不可用于同步逻辑
  • close() 和 join_thread():建议在进程退出前调用,确保后台线程清理完毕

实际使用中的关键注意事项

避免踩坑,需牢记以下几点:

  • 所有通过 Queue 传递的对象必须是可被 pickle 序列化的(如 dict、list、str、int,但不能是 lambda、嵌套函数、未导入模块的类实例等)
  • 子进程消费完数据后,父进程不要立即关闭 Queue;应等待子进程 join() 或使用 queue.close() + queue.join_thread() 显式清理
  • 若需双向通信,不要复用同一个 Queue,而是创建两个(一个 for send,一个 for recv),或改用 multiprocessing.Pipe
  • 大量小消息频繁收发时,性能可能受限于 pickle 开销和 IPC 延迟,此时可考虑 multiprocessing.Array 或 mmap 等更底层方式

一个可靠的工作示例

以下代码演示父子进程间安全传递任务与结果:

from multiprocessing import Process, Queue
import time
<p>def worker(task_q, result_q):
while True:
try:
task = task_q.get(timeout=1)
if task is None:  # 退出信号
break
result_q.put(f"processed: {task}")
except:
continue</p><p>if <strong>name</strong> == "<strong>main</strong>":
task_q = Queue()
result_q = Queue()</p><pre class="brush:php;toolbar:false;">p = Process(target=worker, args=(task_q, result_q))
p.start()

for i in range(3):
    task_q.put(i)
    time.sleep(0.1)
    if not result_q.empty():
        print(result_q.get())

task_q.put(None)  # 发送结束信号
p.join()
task_q.close()
result_q.close()
task_q.join_thread()
result_q.join_thread()

这段代码展示了典型生产者-消费者模式,且包含了资源清理的完整流程。

热门AI工具

更多
墨刀AI
墨刀AI Hot

一款AI图像与设计工具,主要用于产品经理的专属智能体,适合需要提升相关任务效率的用户。

二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

火山引擎

火山引擎是一款面向企业的云计算与AI服务平台。

Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

相关专题

更多
string转int
string转int

在编程中,我们经常会遇到需要将字符串(str)转换为整数(int)的情况。这可能是因为我们需要对字符串进行数值计算,或者需要将用户输入的字符串转换为整数进行处理。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

6859

2023.08.02

int占多少字节
int占多少字节

int占4个字节,意味着一个int变量可以存储范围在-2,147,483,648到2,147,483,647之间的整数值,在某些情况下也可能是2个字节或8个字节,int是一种常用的数据类型,用于表示整数,需要根据具体情况选择合适的数据类型,以确保程序的正确性和性能。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

3305

2024.08.29

c++怎么把double转成int
c++怎么把double转成int

本专题整合了 c++ double相关教程,阅读专题下面的文章了解更多详细内容。

4288

2025.08.29

C++中int的含义
C++中int的含义

本专题整合了C++中int相关内容,阅读专题下面的文章了解更多详细内容。

2925

2025.08.29

lambda表达式
lambda表达式

Lambda表达式是一种匿名函数的简洁表示方式,它可以在需要函数作为参数的地方使用,并提供了一种更简洁、更灵活的编码方式,其语法为“lambda 参数列表: 表达式”,参数列表是函数的参数,可以包含一个或多个参数,用逗号分隔,表达式是函数的执行体,用于定义函数的具体操作。本专题为大家提供lambda表达式相关的文章、下载、课程内容,供大家免费下载体验。

1071

2023.09.15

python lambda函数
python lambda函数

本专题整合了python lambda函数用法详解,阅读专题下面的文章了解更多详细内容。

345

2025.11.08

Python lambda详解
Python lambda详解

本专题整合了Python lambda函数相关教程,阅读下面的文章了解更多详细内容。

594

2026.01.05

C++ Lambda 表达式与函数式编程
C++ Lambda 表达式与函数式编程

深入讲解 C++ Lambda 表达式与函数式编程范式,涵盖 Lambda 基础语法与返回值推导、值捕获与引用捕获的区别与陷阱、初始化捕获(C++14 广义捕获)、泛型 Lambda(auto 参数)、mutable 关键字修改捕获变量、std::function 类型擦除与函数包装、std::bind 参数绑定(及其被 Lambda 替代的趋势)、Lambda 在 STL 算法(sort/transform/for_each/remo

749

2026.05.06

Vite 项目如何打包和部署
Vite 项目如何打包和部署

Vite项目打包部署专题汇集生产构建、产物预览、输出目录、资源路径、Nginx与GitHub Pages部署及常见白屏和路由404问题的已审核文章,帮助读者完成上线流程。

60

2026.10.28

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Uvicorn官方安装与入门手册
Uvicorn官方安装与入门手册

共0课时 | 0人学习

Python uv官方项目管理指南
Python uv官方项目管理指南

共0课时 | 0人学习

Python uv官方安装与入门文档
Python uv官方安装与入门文档

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn