讲师中心 微信公众号
AI工具推荐 视频效率加速

Python多进程内存复制_写时复制机制解析

大敏同学_9006

大敏同学_9006

发布时间:2026-03-09 21:05:03

|

693人浏览过

|

来源于php中文网

原创

Python多进程fork默认启用写时复制(CoW),父子进程初始共享物理内存页,仅在写入时复制;只读大对象几乎零额外开销,但可变对象修改、引用计数变更、GC或打印等均可能触发复制。

python多进程内存复制_写时复制机制解析

Python多进程启动时,默认采用 fork 方式(在 Unix/Linux/macOS 上),此时子进程会继承父进程的整个内存空间,但并非立即复制全部数据——而是依赖操作系统的 写时复制(Copy-on-Write, CoW) 机制。理解这一点,是优化多进程内存使用、避免意外内存暴涨的关键。

写时复制如何工作?

fork 后,父子进程的虚拟内存页表指向相同的物理内存页,内核将这些页标记为只读。只要父子双方都只读取数据,就不会发生实际复制;一旦某一方尝试修改某页内存(比如给一个列表 append 元素、给字典赋新值),内核捕获到写保护异常,才为该页分配新物理内存并复制内容,再允许写入。

这意味着:

  • 只读的大对象(如预加载的模型参数、大型只读 NumPy 数组、JSON 配置字典)几乎不增加额外内存开销;
  • 看似“共享”的变量,一旦被任一进程修改,就会触发独立副本,内存占用翻倍甚至更高(尤其频繁修改时);
  • CoW 是操作系统级行为,Python 解释器本身不参与控制,也无法主动“取消”或“强制触发”复制。

哪些操作容易意外触发写时复制?

表面上没变,实则已写入的常见情况包括:

macOS UI 自动化技能包 —— 用 Python 控制你的 Mac
macOS UI 自动化技能包 —— 用 Python 控制你的 Mac

让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac,无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启:辅助功能 + 屏幕录制权限

下载

立即学习“Python免费学习笔记(深入)”;

  • 可变对象的就地修改:例如 data_list.append(x)、cache_dict[key] = value、arr[0] = 1(NumPy 数组);
  • 隐式引用计数变更:CPython 中对对象增减引用(如局部变量赋值、函数传参)虽不改内容,但会修改对象头中的 refcount 字段——该字段位于对象所在内存页内,可能触发整页复制;
  • GC 相关操作:子进程中首次触发垃圾回收,可能遍历并临时标记对象,导致部分页被写入;
  • 日志/调试输出:打印大对象(如 print(big_dict))会触发对象遍历与字符串化,间接引起引用变化或缓冲区写入。

如何减少不必要的内存复制?

核心思路是:让子进程尽量只读、延迟写、隔离写、用共享内存替代。

  • 用 tuple、frozen_set 或 types.MappingProxyType 替代可变容器,明确表达只读意图,也能防止误改;
  • 避免在子进程中修改从父进程继承的大型数据结构;需修改时,显式创建副本(如 local_data = copy.deepcopy(shared_data)),反而更可控;
  • 用 multiprocessing.shared_memory(Python 3.8+)或 multiprocessing.Array/Value 管理真正需要跨进程读写的原始数据,它们驻留在共享内存段,不走 CoW 路径;
  • 启动子进程前,主动释放父进程中无用的大对象(如 del big_data + gc.collect()),确保 fork 时内存页更干净;
  • 在 macOS 或 Windows 上注意差异:macOS 的 fork CoW 行为与 Linux 接近;Windows 不支持 fork,multiprocessing 默认用 spawn,会重新导入模块、重建对象,天然无 CoW,但启动慢、全局状态不继承。

验证是否发生了写时复制?

可通过监控进程 RSS 内存变化粗略判断:

  • 启动子进程后立即检查 psutil.Process().memory_info().rss,应接近父进程;
  • 子进程执行一次大对象修改(如向百万元素列表追加)后再查 RSS,若显著增长(如 +100MB),说明相关页已被复制;
  • 更精确的方法是分析 /proc/[pid]/smaps(Linux)中 Pss 和 Shared_Clean 字段,但需 root 权限且较复杂。

写时复制不是 Python 特性,而是 fork + 操作系统内存管理的协同结果。它让多进程“看起来轻量”,但也埋下隐性开销。清楚它的触发边界,才能写出内存友好的并发程序。不复杂但容易忽略。

热门AI工具

更多
切问学术

切问学术是一款AI论文写作工具,复旦大学NLP团队推出的AI学术智能体。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

PixPix
PixPix Hot

PixPix是一款面向电商视觉生产的AI商品图生成工具。

PixTV
PixTV Hot

PixTV是一款面向AIGC内容创作的AI视频生成工具。

音述AI
音述AI Hot

一款AI音频处理工具,主要用于音述AI是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区,适合需要提升相关任务效率的用户。

AionClaw
AionClaw Hot

AionClaw是一款面向办公、创作和编程任务的AI桌面智能体。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

相关专题

更多
python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

1831

2023.07.20

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

4944

2023.07.25

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

1789

2023.07.31

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

29557

2023.08.03

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

3527

2023.08.04

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

3547

2023.08.04

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

1223

2023.08.11

python合并两个列表
python合并两个列表

Python是一种强大的编程语言,具有许多方便的功能和工具。在Python中,有多种方法可以合并两个列表。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

616

2023.08.10

Vite 项目如何打包和部署
Vite 项目如何打包和部署

Vite项目打包部署专题汇集生产构建、产物预览、输出目录、资源路径、Nginx与GitHub Pages部署及常见白屏和路由404问题的已审核文章,帮助读者完成上线流程。

60

2026.10.28

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Uvicorn官方安装与入门手册
Uvicorn官方安装与入门手册

共0课时 | 0人学习

Python uv官方项目管理指南
Python uv官方项目管理指南

共0课时 | 0人学习

Python uv官方安装与入门文档
Python uv官方安装与入门文档

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn