讲师中心 微信公众号
AI工具推荐 视频效率加速

Python 共享内存的 multiprocessing.shared_memory

千明酱_4080

千明酱_4080

发布时间:2026-02-16 14:58:47

|

977人浏览过

|

来源于php中文网

原创

shared_memory 创建后进程退出不会自动销毁,必须显式调用 close() 和 unlink() 清理,否则残留;它不提供同步机制,需配合 Lock 等使用;相比 multiprocessing.Array,它更底层、跨语言、高性能但需手动管理。

python 共享内存的 multiprocessing.shared_memory

shared_memory 创建后进程退出就自动销毁吗

不销毁,但必须手动清理,否则变成系统级残留。Python 的 shared_memory.SharedMemory 底层绑定的是 POSIX 共享内存对象(Linux/macOS)或 Windows 内存映射文件,操作系统不会因为创建它的 Python 进程退出就自动释放——尤其当其他进程还在 attach 时。

常见错误现象:OSError: [Errno 17] File exists,反复运行脚本失败;df -h /dev/shm 显示占用持续增长;用 ipcs -m 能查到大量“dest”状态的段。

  • 必须显式调用 shm.close() + shm.unlink(),且 unlink() 只能由创建者调用一次
  • 子进程不能调用 unlink(),否则主进程再访问会报 FileNotFoundError
  • 程序异常退出时,unlink() 很可能没执行,建议用 atexit.register() 或 try/finally 包裹

多个进程怎么安全读写同一块 shared_memory

shared_memory 本身不提供任何同步机制,读写冲突完全靠你自己控制。它只是把一块内存地址暴露出来,像裸指针一样危险。

使用场景:高频小数据交换(如图像帧、传感器采样),且你已有明确的读写节奏(比如生产者-消费者模型中,写完才通知读)。

立即学习“Python免费学习笔记(深入)”;

macOS UI 自动化技能包 —— 用 Python 控制你的 Mac
macOS UI 自动化技能包 —— 用 Python 控制你的 Mac

让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac,无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启:辅助功能 + 屏幕录制权限

下载
  • 不要直接对 shm.buf 做并发赋值,例如 shm.buf[:4] = b'' 在多线程/多进程下非原子
  • 推荐搭配 multiprocessing.Semaphore 或 multiprocessing.Lock 使用,锁对象也得用 shared_memory 外的方式传递(比如父进程创建后传给子进程)
  • 如果只是单写多读,且写操作是整块覆盖(不是部分更新),可以靠约定顺序规避锁,但需确保写入完成后再更新一个标志位(该标志位也得在共享内存里,且用 struct.pack 写入)

shared_memory 和 multiprocessing.Array / Value 有什么区别

shared_memory 是底层裸内存,Array 和 Value 是带类型封装的高层接口。前者灵活但易错,后者省心但有额外开销和限制。

参数差异明显:Array('i', 100) 固定为 C 类型数组,长度写死;SharedMemory 创建时只指定字节数,后续怎么解释全由你决定(可用 numpy.frombuffer(shm.buf, dtype=np.int32))。

  • Array 自动管理生命周期,进程退出时由 multiprocessing 模块尝试清理;SharedMemory 完全不托管
  • Array 不支持跨语言(比如 Go 进程读取),SharedMemory 的名字(name 参数)是 OS 级字符串,C/Go 都能打开
  • 性能上,SharedMemory 避开了 Array 的代理对象和类型检查,大数据量(>1MB)时 memcpy 开销更可控

Windows 下 shared_memory 报 FileNotFoundError 怎么办

Windows 对共享内存名有严格限制:不能含反斜杠、不能以空格开头、长度上限 260 字符,且必须全局唯一。最常踩的坑是名字用了路径风格(如 "myapp/data")或随机数没做字符过滤。

错误信息典型是:FileNotFoundError: No such file or directory: 'psm_abc123'(注意前缀 psm_ 是 Python 自动加的)。

  • 名字只能用 ASCII 字母、数字、下划线,且必须以字母或下划线开头
  • 避免用 uuid.uuid4().hex 直接当 name,因为 hex 可能以数字开头,Windows 拒绝;改成 "shm_" + uuid.uuid4().hex
  • 调试时先用固定名字(如 "test123"),确认逻辑通了再换动态生成
  • 用 dir \.Global??(管理员权限)或 Process Explorer 查看已存在的共享内存对象
事情说清了就结束

热门AI工具

更多
Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

创客贴AI

创客贴AI是一款AI图像与设计工具,AI辅助的智能在线设计工具。

蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

AionClaw
AionClaw Hot

AionClaw是一款面向办公、创作和编程任务的AI桌面智能体。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

相关专题

更多
js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

1818

2023.08.03

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

2904

2023.09.04

java基础知识汇总
java基础知识汇总

java基础知识有Java的历史和特点、Java的开发环境、Java的基本数据类型、变量和常量、运算符和表达式、控制语句、数组和字符串等等知识点。想要知道更多关于java基础知识的朋友,请阅读本专题下面的的有关文章,欢迎大家来php中文网学习。

6224

2023.10.24

字符串介绍
字符串介绍

字符串是一种数据类型,它可以是任何文本,包括字母、数字、符号等。字符串可以由不同的字符组成,例如空格、标点符号、数字等。在编程中,字符串通常用引号括起来,如单引号、双引号或反引号。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

6069

2023.11.24

java读取文件转成字符串的方法
java读取文件转成字符串的方法

Java8引入了新的文件I/O API,使用java.nio.file.Files类读取文件内容更加方便。对于较旧版本的Java,可以使用java.io.FileReader和java.io.BufferedReader来读取文件。在这些方法中,你需要将文件路径替换为你的实际文件路径,并且可能需要处理可能的IOException异常。想了解更多java的相关内容,可以阅读本专题下面的文章。

7654

2024.03.22

php中定义字符串的方式
php中定义字符串的方式

php中定义字符串的方式:单引号;双引号;heredoc语法等等。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

11514

2024.04.29

go语言字符串相关教程
go语言字符串相关教程

本专题整合了go语言字符串相关教程,阅读专题下面的文章了解更多详细内容。

5939

2025.07.29

c++字符串相关教程
c++字符串相关教程

本专题整合了c++字符串相关教程,阅读专题下面的文章了解更多详细内容。

6547

2025.08.07

Vite 项目如何打包和部署
Vite 项目如何打包和部署

Vite项目打包部署专题汇集生产构建、产物预览、输出目录、资源路径、Nginx与GitHub Pages部署及常见白屏和路由404问题的已审核文章,帮助读者完成上线流程。

60

2026.10.28

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Uvicorn官方安装与入门手册
Uvicorn官方安装与入门手册

共0课时 | 0人学习

Python uv官方项目管理指南
Python uv官方项目管理指南

共0课时 | 0人学习

Python uv官方安装与入门文档
Python uv官方安装与入门文档

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn