讲师中心 微信公众号
AI工具推荐 视频效率加速

在多进程中不使用 Manager 的 dict 是否真的共享内存

阿涛吖_4467

阿涛吖_4467

发布时间:2026-01-25 20:39:47

|

427人浏览过

|

来源于php中文网

原创

不共享。普通Python dict在多进程中各自独立,fork仅触发写时复制,修改时才分配新内存页;Windows用spawn更无自动共享。真正共享需用shared_memory、Array/Value、Manager或外部存储。

在多进程中不使用 manager 的 dict 是否真的共享内存

不使用 Manager 的 dict 在多进程中是否共享内存

不共享。普通 Python dict 在多进程间完全独立,每个子进程拿到的只是父进程创建时的一份拷贝,修改彼此互不影响。

为什么 fork 后看似“能读”但改不了

在 Unix/Linux 上用 fork 启动子进程时,会触发写时复制(Copy-on-Write),初始内存页是共享只读的——所以子进程能读到父进程 dict 的原始内容,但一旦任一进程尝试写入(比如 d['x'] = 1),内核就会为该进程单独复制一份内存页,后续操作只影响自己副本。

  • fork 不等于共享内存,只是延迟复制
  • Windows 没有 fork,multiprocessing 默认用 spawn,连初始拷贝都要显式传递,更不可能“自动共享”
  • 即使你用 global dict,每个进程都有独立的全局命名空间

真正共享内存的可行方式有哪些

想让多个进程读写同一份数据,必须走明确的共享机制:

  • 用 multiprocessing.shared_memory(Python 3.8+):手动分配一块共享内存区域,配合 numpy.ndarray 或 struct 解析,适合结构化、定长数据
  • 用 multiprocessing.Array / multiprocessing.Value:支持基础类型(int, float, c_char 等),线程安全但接口简陋,不适合嵌套结构
  • 用 multiprocessing.Manager().dict():底层通过代理对象 + 子进程通信实现,能用但性能差、有延迟、不支持所有 dict 操作(比如不能直接对嵌套值赋值:mgr_dict['a']['b'] = 1 会报错)
  • 用外部存储(Redis、SQLite 文件、内存映射文件):绕过 Python 进程模型限制,更灵活也更可控

一个典型误用示例和对比

下面这段代码常被误解为“共享”:

Linux Security Scanner
Linux Security Scanner

Linux 安全审计工具,检查 SSH 配置、开放/监听端口、防火墙规则(ufw/iptables/nftables)、失败登录尝试、sudoers 权限...

下载
from multiprocessing import Process
<p>d = {'counter': 0}</p><p>def worker():
d['counter'] += 1
print('in worker:', d)</p><p>if <strong>name</strong> == '<strong>main</strong>':
p = Process(target=worker)
p.start()
p.join()
print('in main:', d)  # 输出仍是 {'counter': 0}

而换成 Manager 后才真正同步:

from multiprocessing import Process, Manager
<p>if <strong>name</strong> == '<strong>main</strong>':
with Manager() as manager:
d = manager.dict({'counter': 0})
p = Process(target=lambda: d.update({'counter': d['counter'] + 1}))
p.start()
p.join()
print(d)  # {'counter': 1}

注意:manager.dict() 不是内存共享,是跨进程 RPC 调用,每次访问都走序列化/反序列化,高并发下容易成瓶颈。

真正需要低延迟共享时,别碰 Manager,优先考虑 shared_memory + 自定义协议,或换用更合适的 IPC 方式。

热门AI工具

更多
DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

切问学术

切问学术是一款AI论文写作工具,复旦大学NLP团队推出的AI学术智能体。

PixTV
PixTV Hot

PixTV是一款面向AIGC内容创作的AI视频生成工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

PixPix
PixPix Hot

PixPix是一款面向电商视觉生产的AI商品图生成工具。

Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

相关专题

更多
css中float用法
css中float用法

css中float属性允许元素脱离文档流并沿其父元素边缘排列,用于创建并排列、对齐文本图像、浮动菜单边栏和重叠元素。想了解更多float的相关内容,可以阅读本专题下面的文章。

7287

2024.04.28

C++中int、float和double的区别
C++中int、float和double的区别

本专题整合了c++中int和double的区别,阅读专题下面的文章了解更多详细内容。

864

2025.10.23

string转int
string转int

在编程中,我们经常会遇到需要将字符串(str)转换为整数(int)的情况。这可能是因为我们需要对字符串进行数值计算,或者需要将用户输入的字符串转换为整数进行处理。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

7119

2023.08.02

int占多少字节
int占多少字节

int占4个字节,意味着一个int变量可以存储范围在-2,147,483,648到2,147,483,647之间的整数值,在某些情况下也可能是2个字节或8个字节,int是一种常用的数据类型,用于表示整数,需要根据具体情况选择合适的数据类型,以确保程序的正确性和性能。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

3405

2024.08.29

c++怎么把double转成int
c++怎么把double转成int

本专题整合了 c++ double相关教程,阅读专题下面的文章了解更多详细内容。

4448

2025.08.29

C++中int的含义
C++中int的含义

本专题整合了C++中int相关内容,阅读专题下面的文章了解更多详细内容。

3005

2025.08.29

硬盘接口类型介绍
硬盘接口类型介绍

硬盘接口类型有IDE、SATA、SCSI、Fibre Channel、USB、eSATA、mSATA、PCIe等等。详细介绍:1、IDE接口是一种并行接口,主要用于连接硬盘和光驱等设备,它主要有两种类型:ATA和ATAPI,IDE接口已经逐渐被SATA接口;2、SATA接口是一种串行接口,相较于IDE接口,它具有更高的传输速度、更低的功耗和更小的体积;3、SCSI接口等等。

3208

2023.10.19

PHP接口编写教程
PHP接口编写教程

本专题整合了PHP接口编写教程,阅读专题下面的文章了解更多详细内容。

5289

2025.10.17

DBeaver怎么导入数据
DBeaver怎么导入数据

DBeaver数据导入专题,整理Excel、CSV、SQL、TXT等常见文件的数据导入方法,涵盖目标数据库选择、数据表创建、字段映射、数据类型设置及导入参数配置等操作,帮助用户将本地文件中的数据写入数据库,并了解批量导入、重复数据处理和导入失败等常见问题的解决方法。

0

2026.11.05

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Python uv官方安装与入门文档
Python uv官方安装与入门文档

共0课时 | 0人学习

Buffalo框架快速入门指南
Buffalo框架快速入门指南

共0课时 | 0人学习

Valgrind支持平台说明
Valgrind支持平台说明

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn