讲师中心 微信公众号

工具推荐

视频效率加速
剧云
剧云

中文短剧剧本制作平台

Seko
Seko

AI短剧一键生成成片

AniShort
AniShort

AI短剧协同制作平台

立刻MV
立刻MV

低成本歌曲 MV、视频生成

Python 大量对象创建的内存优化方法

陌芳君_4466

陌芳君_4466

发布时间:2026-01-27 14:50:40

|

264人浏览过

|

来源于php中文网

原创

用 __slots__ 可将实例内存压缩至原来的1/3~1/5,因禁用__dict__和__weakref__,属性转为固定偏移存储;需显式声明属性名,父类启用则子类也须定义,否则优化失效。

python 大量对象创建的内存优化方法

用 __slots__ 禁用动态属性能省多少内存?

默认情况下,Python 每个实例都带一个 __dict__ 字典来存属性,哪怕只存 2–3 个字段,也要额外占用 ~240 字节。上万对象时,这部分开销就非常可观。

加 __slots__ 后,实例不再有 __dict__ 和 __weakref__,属性直接映射到预分配的固定偏移量,内存可压缩到原来的 1/3~1/5。

  • 必须显式声明所有允许的属性名:__slots__ = ('id', 'name', 'score')
  • 不能动态赋值未声明的属性,否则报 AttributeError: 'X' object has no attribute 'xxx'
  • 父类用了 __slots__,子类也得定义,否则父类的优化会被子类的 __dict__ 覆盖
  • 如果需要偶尔支持动态属性,可保留 '__dict__' 在 slots 元组里,但那就失去大部分优化效果

对象池(__new__ + 缓存)适合哪些场景?

不是所有对象都适合池化。只有满足「创建开销大 + 生命周期短 + 实例可复用」三个条件时才值得做,比如网络连接、线程本地配置、坐标点(若业务中大量重复构造相同值)。

常见误用是拿它优化普通数据容器(如 User),反而因哈希/查找引入额外开销,且容易引发状态残留 bug。

立即学习“Python免费学习笔记(深入)”;

Python Hardener
Python Hardener

通过完整的安全审查、代码整洁重构、健壮的错误处理、正确的日志记录以及完整的文档字符串覆盖,强化 Python 脚本。

下载
  • 用弱引用字典 weakref.WeakValueDictionary 存缓存,避免对象永久驻留
  • 重写 __new__ 时,先查池、命中则跳过 super().__new__,未命中再创建并存入池
  • 注意:池化后对象状态必须重置(例如在 __init__ 或复用前清空字段),否则上次使用残留的数据会污染下次调用
  • 并发环境下需加锁(如 threading.Lock),但锁本身可能成为瓶颈,建议按 key 分片加锁

array.array 和 struct.pack 替代对象列表真能提速?

当你要存的是同构数值数据(比如十万条 (x: float, y: float, z: float)),用对象列表是典型的空间浪费:每个 Point 实例至少 48 字节 + 3 × 24 字节浮点对象引用 + 冗余类型信息。

换成 array.array('d', [...]) 或 struct.pack('ddd', x, y, z) 打包成二进制块,内存直接降到 1/5 以内,且 CPU 缓存友好,遍历速度通常快 3–10 倍。

  • array.array 只支持基础类型('i', 'd', 'B' 等),不支持嵌套或混合类型
  • 用 struct 需自己管理偏移和解包逻辑,适合固定结构+批量读写;array 更适合单值追加和随机访问
  • 如果后续要频繁按字段过滤(如 “找出所有 y > 10 的点”),纯 array 会逼你写 C 风格循环,此时可考虑 numpy.ndarray —— 它底层也是紧凑内存布局,还带向量化操作

为什么 __del__ 和弱回调不适合内存敏感场景?

很多人想靠 __del__ 主动归还资源或清理缓存,但这不可靠:CPython 中它依赖引用计数归零触发,PyPy/其他实现甚至不保证调用时机;循环引用下更可能永不触发。

弱引用回调(weakref.ref(obj, callback))看似优雅,但 callback 执行时机不确定,且每次注册都会产生额外对象(弱引用本身也有开销),在高频创建/销毁场景下反而增加 GC 压力。

  • 真正可控的方式是显式生命周期管理:用上下文管理器(with)、手动 .close()、或把对象生命周期绑定到某个明确的 owner 上
  • 如果必须自动清理,优先用 weakref.finalize(比 __del__ 更可靠),但仍要避免在 finalize 里做耗时或依赖其他对象的操作
  • 最省心的做法其实是别让对象活太久——用生成器替代一次性列表,用迭代器替代全量加载,从源头减少存活对象数

内存优化不是堆技巧,而是对数据建模方式的重新审视。一个 __slots__ 能省几百 MB,但若本该用 array 存的数据硬套 class,再怎么调参也救不回来。

热门AI工具

更多
DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

函子Zion

一款支持AI搭建、可视化编辑和多端发布的全栈无代码开发平台。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

墨刀AI
墨刀AI Hot

一款AI图像与设计工具,主要用于产品经理的专属智能体,适合需要提升相关任务效率的用户。

Flowith
Flowith Hot

Flowith是一款基于画布和智能体工作流的 AI 协作工作空间。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

PixPix
PixPix Hot

PixPix是一款面向电商视觉生产的AI商品图生成工具。

相关专题

更多
css中float用法
css中float用法

css中float属性允许元素脱离文档流并沿其父元素边缘排列,用于创建并排列、对齐文本图像、浮动菜单边栏和重叠元素。想了解更多float的相关内容,可以阅读本专题下面的文章。

7687

2024.04.28

C++中int、float和double的区别
C++中int、float和double的区别

本专题整合了c++中int和double的区别,阅读专题下面的文章了解更多详细内容。

904

2025.10.23

堆和栈的区别
堆和栈的区别

堆和栈的区别:1、内存分配方式不同;2、大小不同;3、数据访问方式不同;4、数据的生命周期。本专题为大家提供堆和栈的区别的相关的文章、下载、课程内容,供大家免费下载体验。

7007

2023.07.18

堆和栈区别
堆和栈区别

堆(Heap)和栈(Stack)是计算机中两种常见的内存分配机制。它们在内存管理的方式、分配方式以及使用场景上有很大的区别。本文将详细介绍堆和栈的特点、区别以及各自的使用场景。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

2888

2023.08.10

class在c语言中的意思
class在c语言中的意思

在C语言中,"class" 是一个关键字,用于定义一个类。想了解更多class的相关内容,可以阅读本专题下面的文章。

4636

2024.01.03

python中class的含义
python中class的含义

本专题整合了python中class的相关内容,阅读专题下面的文章了解更多详细内容。

326

2025.12.06

线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

4858

2023.08.10

Go-Zero API开发使用教程
Go-Zero API开发使用教程

本专题聚焦Go-Zero的API开发,拆解.api描述文件的语法结构、路由与分组定义、参数绑定与校验规则,说明统一响应体、JWT鉴权、跨域与接口文档生成的落地方式,并给出网关聚合与接口测试的实践建议。

20

2026.11.12

Go-Zero安装与goctl环境配置教程
Go-Zero安装与goctl环境配置教程

本专题围绕Go-Zero的安装与工具链配置展开,讲清Go版本要求、goctl安装方式、代理镜像、protoc依赖与环境变量设置,说明多版本共存、升级回退与CI流水线安装的做法,并整理安装阶段的常见报错与验证步骤。

0

2026.11.12

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn