讲师中心 微信公众号
AI工具推荐 视频效率加速

如何让子进程创建共享内存并安全地与父进程共享

夏杰大大_5300

夏杰大大_5300

发布时间:2026-08-08 20:25:18

|

744人浏览过

|

来源于php中文网

原创

如何让子进程创建共享内存并安全地与父进程共享

子进程可以创建共享内存,但父进程必须等待其就绪后才能安全访问;直接在子进程创建后立即在父进程中尝试连接会导致 filenotfounderror,需通过同步机制(如 event)协调进程间时序。

子进程可以创建共享内存,但父进程必须等待其就绪后才能安全访问;直接在子进程创建后立即在父进程中尝试连接会导致 filenotfounderror,需通过同步机制(如 event)协调进程间时序。

在 Python 的 multiprocessing 模块中,shared_memory.SharedMemory 支持跨进程共享内存,但其生命周期和可见性依赖于操作系统底层的 POSIX 共享内存(Linux/macOS)或等效机制(Windows)。关键限制在于:共享内存对象需在被访问前已由某进程显式创建并完成初始化,且其名称必须全局唯一、可被其他进程发现。

问题中的 Case 3 失败的根本原因并非“子进程不能创建共享内存”,而是典型的竞态条件(race condition):父进程在子进程尚未完成 SharedMemory(name="test", create=True, ...) 调用前,就执行了 SharedMemory(name="test") —— 此时系统中尚无名为 /test 的共享内存段,因此抛出 FileNotFoundError。

✅ 正确做法是引入进程同步原语,确保父进程严格等待子进程完成创建与初始化。推荐使用 multiprocessing.Event,它轻量、跨平台(兼容 Linux/Windows),且语义清晰:

import multiprocessing as mp
import multiprocessing.shared_memory as sm
import numpy as np

def worker(ready_event, done_event):
    # 子进程创建共享内存(注意:size 需匹配实际数据需求)
    shm = sm.SharedMemory(name="data_buffer", create=True, size=1024)

    # 示例:写入 numpy 数据(需确保 buffer 兼容)
    arr = np.ndarray((128,), dtype=np.int64, buffer=shm.buf)
    arr[:] = np.arange(128)  # 写入数据

    ready_event.set()  # 通知父进程:共享内存已就绪
    done_event.wait()  # 等待父进程使用完毕
    shm.unlink()  # 清理资源

if __name__ == '__main__':
    # 创建同步事件
    ready = mp.Event()
    done = mp.Event()

    # 启动子进程(建议设为 daemon=True,避免主进程退出时残留)
    proc = mp.Process(target=worker, args=(ready, done), daemon=True)
    proc.start()

    # 父进程等待子进程就绪
    ready.wait()  # 阻塞直到子进程调用 ready.set()

    # 安全连接已存在的共享内存
    shm = sm.SharedMemory(name="data_buffer")

    # 读取数据(与子进程一致的 shape/dtype)
    arr = np.ndarray((128,), dtype=np.int64, buffer=shm.buf)
    print("Parent read:", arr[:5])  # 输出: [0 1 2 3 4]

    # 通知子进程可清理资源
    done.set()

    # (可选)主进程显式关闭共享内存(不 unlink,因子进程负责 unlink)
    shm.close()

⚠️ 重要注意事项:

  • 命名唯一性:共享内存名称在系统范围内必须唯一(Linux 下实际映射为 /name 文件路径),避免硬编码冲突,生产环境建议结合 uuid.uuid4() 生成随机名。
  • 资源管理:unlink() 应由最后一个使用者调用(通常为创建者),否则可能导致其他进程访问失效内存;本例中由子进程负责清理,父进程仅调用 close()。
  • 数据一致性:共享内存本身不提供原子性保证,若需多进程并发读写同一区域,必须额外加锁(如 mp.Lock)。
  • 平台兼容性:shared_memory 在 Python 3.8+ 可用,Windows 支持有限(部分版本需启用 CreateFileMappingW 权限),建议始终包裹在 if __name__ == '__main__': 中以确保正确启动。

对于您的 HDF5 场景:每个子进程可创建独立命名的共享内存段(如 "hdf_chunk_0", "hdf_chunk_1"),写入 NumPy 数组后通知父进程;父进程按序接收、转换为 HDF5 数据集,彻底规避 Queue 或 Manager 带来的序列化/拷贝开销——这正是共享内存优化的核心价值。

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

PixPix
PixPix Hot

PixPix是一款面向电商视觉生产的AI商品图生成工具。

UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

相关专题

更多
OpenJDK JVM参数怎么调优
OpenJDK JVM参数怎么调优

Java应用运行缓慢,如何调整JVM参数?本专题介绍OpenJDK JVM性能调优的基本流程,涵盖性能指标确认、运行数据采集、内存配置和垃圾回收分析,帮助你先定位瓶颈,再通过对照测试验证效果,避免直接套用参数而影响应用稳定性。

60

2026.10.16

OpenJDK怎么配置Java开发环境
OpenJDK怎么配置Java开发环境

怎样用OpenJDK搭建开发环境?本专题介绍版本选择、下载安装、环境变量配置和编译运行验证,帮助你理清JDK的作用及基本配置流程,并通过简单程序检查环境是否可用,为后续项目开发做好准备。

40

2026.10.16

OpenJDK怎么部署Java应用
OpenJDK怎么部署Java应用

Java项目开发完成后,怎样部署到目标环境并正常运行?本专题介绍OpenJDK应用部署流程,涵盖运行环境准备、版本兼容检查、应用打包、启动参数配置和日志查看,帮助你理清部署前后的操作顺序,减少环境差异造成的运行问题。

40

2026.10.16

Revel框架模板渲染与表单验证
Revel框架模板渲染与表单验证

本专题围绕Revel框架视图层开发,介绍模板语法、变量输出、布局复用、表单提交、参数绑定与验证规则,帮助开发者完成安全规范的页面交互。

20

2026.10.16

Revel框架MVC路由与控制器
Revel框架MVC路由与控制器

本专题聚焦Revel框架MVC核心机制,讲解路由定义、控制器Action、参数绑定、请求响应和反向路由,并结合常见场景梳理接口请求处理流程。

20

2026.10.16

Revel框架入门与安装配置
Revel框架入门与安装配置

本专题从Revel框架环境搭建讲起,系统介绍命令行工具安装、项目创建、目录结构、配置文件及热代码重载,帮助开发者快速完成首个Go Web应用。

20

2026.10.16

Linux 新手先学哪些命令
Linux 新手先学哪些命令

Linux新手命令专题汇集终端基础、文件目录操作、文本查看、软件安装和权限管理等入门文章,帮助按实际任务练习常用命令并建立命令行操作习惯。

40

2026.10.15

MySQL 忘记密码怎么办
MySQL 忘记密码怎么办

MySQL忘记密码专题汇集不同版本与系统下的root密码重置方法,覆盖MySQL 5.7、8.0、Mac、Linux及本地集成环境,并提示恢复权限与重新登录的检查步骤。

40

2026.10.15

Vue.js 中 ref 和 reactive 的区别
Vue.js 中 ref 和 reactive 的区别

Vue.js中ref和reactive的区别专题汇集两种响应式API的定义、访问方式、对象解构、侦听与性能取舍等文章,帮助结合实际状态类型选择合适写法。

20

2026.10.15

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn