讲师中心 微信公众号
AI工具推荐 视频效率加速

Python 内存快照与分析工具使用

轻婷同学_5837

轻婷同学_5837

发布时间:2026-02-18 11:00:12

|

476人浏览过

|

来源于php中文网

原创

用pympler.tracker.SummaryTracker()做实时内存快照最轻量,需在业务前后各调用take_snapshot()比对,避免循环新建、禁用GC以保增量准确,重点关注dict/list/str类型。

python 内存快照与分析工具使用

怎么用 pympler 做实时内存快照

直接调用 tracker.SummaryTracker() 是最轻量的起点,它不侵入业务逻辑,适合在关键路径前后各拍一次快照比对。注意别在循环里反复初始化 tracker——每次新建都会重置统计基准,导致增量归零。

常见错误是以为 tracker.print_diff() 能自动识别“新增对象”,其实它只对比两次 tracker.take_snapshot() 的结果,中间若有 GC 发生,存活对象数可能反降。建议配合 gc.disable() 短暂禁用垃圾回收(仅调试期)。

  • 用法示例:
    from pympler import tracker<br>tr = tracker.SummaryTracker()<br># ... 业务代码前<br>s1 = tr.take_snapshot()<br># ... 业务代码后<br>s2 = tr.take_snapshot()<br>tr.print_diff(s1, s2)
  • 重点关注 types 列里的 dict、list、str —— 它们占内存大且容易意外累积
  • 避免在多线程环境共享同一个 SummaryTracker 实例,线程不安全

objgraph 查不到对象?先确认引用链是否被截断

objgraph 找不到目标对象,大概率不是工具失效,而是你传进去的变量名本身已不持有引用。比如函数返回一个大列表,你在函数外只做了 res = func(),但紧接着又执行了 res = None,那原始列表可能已被 GC 标记为待回收,objgraph.by_type("list") 就查不到它。

更隐蔽的情况是:对象被闭包、__dict__ 或弱引用容器(如 weakref.WeakKeyDictionary)持有,objgraph.show_backrefs() 默认不穿透这些结构。必须显式加参数:max_depth=5, too_many=10, extra_ignore=[id(locals())]。

立即学习“Python免费学习笔记(深入)”;

macOS UI 自动化技能包 —— 用 Python 控制你的 Mac
macOS UI 自动化技能包 —— 用 Python 控制你的 Mac

让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac,无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启:辅助功能 + 屏幕录制权限

下载
  • 典型误判场景:Django 视图里临时构造的 QuerySet 对象,因缓存机制被 Model 类的 _meta 引用链间接持有着,不设 max_depth 就看不到根因
  • objgraph.show_growth() 比 by_type() 更可靠——它基于全局对象计数器,不依赖当前变量作用域
  • Windows 下若报 Graphviz not found,不是必须装 Graphviz;改用 objgraph.show_most_common_types(limit=20) 同样能定位热点类型

用 tracemalloc 定位内存分配源头时,为什么行号总是 <frozen importlib._bootstrap></frozen>

这是 Python 3.6+ 默认行为:tracemalloc 只记录“分配发生时”的栈帧,而很多第三方库(尤其是 C 扩展或用 __import__ 动态加载的模块)的内存申请发生在 import 过程中,真实业务代码行号被压在底层帧之下。

解决办法是启动时就启用,并过滤掉无关路径:tracemalloc.start(25) # depth=25 足够展开嵌套 import,再用 filter_traces() 排除标准库路径:

  • import tracemalloc<br>tracemalloc.start(25)<br># ... 运行后<br>snapshot = tracemalloc.take_snapshot()<br>top_stats = snapshot.filter_traces((<br>    tracemalloc.Filter(False, "<frozen importlib._bootstrap>"),<br>    tracemalloc.Filter(False, "lib/python3.*"),<br>)).statistics('lineno')
  • 注意 tracemalloc 无法跟踪 C 扩展分配的内存(如 NumPy 数组底层 malloc),这类得靠 psutil.Process().memory_info().rss 结合时间戳粗略估算
  • 生产环境慎用:开启后每个 malloc 调用会增加约 10% CPU 开销,且 snapshot 本身也吃内存

生成的 .heapsnapshot 文件怎么导入 Chrome DevTools

Python 没有原生导出 Chrome 兼容格式的能力,必须用 memray 或手动转换。推荐用 memray:它生成的 .bin 文件可直接转成 Chrome 能读的 .heapsnapshot。

关键步骤是加 --native 参数启动采集,否则看不到 C 扩展分配点;导出时指定 --format chrome:

  • pip install memray<br>memray run --native --output profile.bin python my_script.py<br>memray tree profile.bin  # 快速看热点<br>memray convert --format chrome profile.bin  # 输出 profile.heapsnapshot
  • Chrome 中打开 DevTools → Memory → Load → 选中文件,注意顶部切换到 “Allocation instrumentation on timeline” 才能看到按时间轴分布的分配事件
  • 如果转换失败,大概率是 profile.bin 里含多进程数据(如用了 multiprocessing),需加 --pid 指定目标进程 ID 重采

实际分析时,真正卡住人的往往不是工具不会用,而是没意识到「Python 对象引用关系」和「C 层内存分配」是两套体系——前者用 objgraph 和 pympler,后者得靠 memray 或 valgrind。混着查,才不容易漏掉释放失败的 ctypes 指针或未 close 的 mmap 区域。

热门AI工具

更多
PixPix
PixPix Hot

PixPix是一款面向电商视觉生产的AI商品图生成工具。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

PixTV
PixTV Hot

PixTV是一款面向AIGC内容创作的AI视频生成工具。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

超级简历WonderCV

一款AI办公效率工具,主要用于免费求职简历模版下载制作,应届生职场人必备简历制作神器,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

相关专题

更多
Python Web 框架 Django 深度开发
Python Web 框架 Django 深度开发

本专题系统讲解 Python Django 框架的核心功能与进阶开发技巧,包括 Django 项目结构、数据库模型与迁移、视图与模板渲染、表单与认证管理、RESTful API 开发、Django 中间件与缓存优化、部署与性能调优。通过实战案例,帮助学习者掌握 使用 Django 快速构建功能全面的 Web 应用与全栈开发能力。

573

2026.02.04

Python Django REST Framework接口安全与认证体系实践
Python Django REST Framework接口安全与认证体系实践

本专题围绕 Django REST Framework 展开,深入讲解 API 认证、JWT 鉴权、权限控制、接口安全防护以及防攻击策略设计。通过完整后端案例,帮助开发者构建安全可靠的 Web API 服务体系。

240

2026.06.29

chrome什么意思
chrome什么意思

chrome是浏览器的意思,由Google开发的网络浏览器,它在2008年首次发布,并迅速成为全球最受欢迎的浏览器之一。本专题为大家提供chrome相关的文章、下载、课程内容,供大家免费下载体验。

2826

2023.08.11

chrome无法加载插件怎么办
chrome无法加载插件怎么办

chrome无法加载插件可以通过检查插件是否已正确安装、禁用和启用插件、清除插件缓存、更新浏览器和插件、检查网络连接和尝试在隐身模式下加载插件方法解决。更多关于chrome相关问题,详情请看本专题下面的文章。php中文网欢迎大家前来学习。

5659

2023.11.06

Chrome开启无痕模式
Chrome开启无痕模式

本专题整合了Chrome无痕模式开启相关内容,阅读专题下面的文章了解更多详细教程。

4027

2026.03.24

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

1789

2023.07.31

python中的format是什么意思
python中的format是什么意思

python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

1211

2024.06.27

C++ 智能指针与现代内存管理
C++ 智能指针与现代内存管理

深入讲解 C++ 现代内存管理的核心工具——智能指针,涵盖 unique_ptr 独占所有权语义、shared_ptr 引用计数机制与循环引用问题、weak_ptr 弱引用的应用场景、make_unique/make_shared 工厂函数的性能优势、自定义删除器的编写、RAII 资源管理思想的实践,以及从裸指针迁移到智能指针的重构策略,帮助开发者编写安全无泄漏的现代 C++ 代码。

379

2026.04.23

Vite 项目如何打包和部署
Vite 项目如何打包和部署

Vite项目打包部署专题汇集生产构建、产物预览、输出目录、资源路径、Nginx与GitHub Pages部署及常见白屏和路由404问题的已审核文章,帮助读者完成上线流程。

40

2026.10.28

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Uvicorn官方安装与入门手册
Uvicorn官方安装与入门手册

共0课时 | 0人学习

Python uv官方项目管理指南
Python uv官方项目管理指南

共0课时 | 0人学习

Python uv官方安装与入门文档
Python uv官方安装与入门文档

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn