讲师中心 微信公众号
AI工具推荐 视频效率加速

Python中如何通过pytest-valgrind检测测试运行过程中的内存泄露?

夜磊同学_9984

夜磊同学_9984

发布时间:2026-06-11 13:31:26

|

690人浏览过

|

来源于php中文网

原创

必须用系统级valgrind包裹python -m pytest进程,编译扩展加-g、运行加--track-origins=yes,只修复definitely lost,禁用pytest-xdist和fork模式,并在CI中禁用GC。

python中如何通过pytest-valgrind检测测试运行过程中的内存泄露?

pytest-valgrind 不是标准插件,别装错包

直接 pip install pytest-valgrind 会装到一个早已停更、不兼容 Python 3.9+ 且无法与现代 pytest 协作的废弃包。它不会自动 hook 测试生命周期,也不支持 --valgrind 这类参数。你运行后大概率看到 unrecognized arguments: --valgrind 或静默失败。

真实可行路径只有一条:用系统级 valgrind 包裹整个 python -m pytest 进程,而非依赖任何“集成插件”。

必须用 --track-origins=yes + -g 编译扩展模块

Valgrind 要准确定位 C 扩展中哪行 C 代码漏了 malloc,必须满足两个硬条件:

  • Python 扩展模块编译时加 -g(保留调试符号),否则输出只有地址,没有 talib/_abstract.c:787 这类可读信息
  • Valgrind 运行时必须带 --track-origins=yes,否则无法追溯未释放内存块最初从哪个 malloc 分配而来
  • 若扩展使用 Cython,需在 setup.py 中显式传 extra_compile_args=["-g"];若为纯 C 扩展,确保 gcc 命令含 -g

泄漏报告里只盯 definitely lost,忽略 still reachable

Valgrind 输出中四类泄漏里,只有 definitely lost 是真实问题:

python-parallelization
python-parallelization

将顺序 Python 代码转换为并行/并发实现,用于在需要并行化 Python 代码、提升性能时使用。

下载

立即学习“Python免费学习笔记(深入)”;

  • definitely lost:指针彻底丢失,比如 TA_ParamHolderAlloc 分配后没调 TA_ParamHolderFree —— 这类必须修复
  • still reachable:Python 解释器退出前仍能访问的全局/静态分配(如 PyTypeObject 初始化内存),属于正常现象,金融级生产环境也允许存在
  • possibly lost 和 indirectly lost 需结合栈回溯判断:如果源头是 definitely lost 的父块,修根即可,不必单独处理子块

避免 pytest-xdist / fork 导致泄漏误报

Valgrind 本身不支持多进程并行检测。若测试中启用 pytest-xdist(如 -n2)或 pytest 自动 fork 模式,Valgrind 会因子进程无法继承 instrumentation 状态而崩溃或漏报。

正确做法:

  • 强制单进程运行:pytest --numprocesses=0(禁用 xdist)或干脆不装 pytest-xdist
  • 禁用 fork 模式:pytest --forked 会干扰 Valgrind,应改用 --boxed(但更推荐不用)
  • CI 中务必添加 python -c "import gc; gc.disable()" 前置命令 —— GC 干扰会让 definitely lost 数量浮动,掩盖真实泄漏点

最易被忽略的是:Valgrind 报告的泄漏位置永远指向 C 层,但根源常在 Python 层调用逻辑缺失(比如忘了调 close() 或 free_handle())。看懂 definitely lost 的栈回溯后,要反向检查 Python 测试用例是否完整覆盖了资源释放路径。

热门AI工具

更多
WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

Seko
Seko Hot

一款AI视频创作工具,主要用于商汤科技推出的创编一体的AI短视频创作Agent,适合需要提升相关任务效率的用户。

Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

音述AI
音述AI Hot

一款AI音频处理工具,主要用于音述AI是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

相关专题

更多
python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

1771

2023.07.20

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

4584

2023.07.25

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

1729

2023.07.31

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

27097

2023.08.03

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

3287

2023.08.04

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

3287

2023.08.04

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

1203

2023.08.11

python合并两个列表
python合并两个列表

Python是一种强大的编程语言,具有许多方便的功能和工具。在Python中,有多种方法可以合并两个列表。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

596

2023.08.10

OpenJDK JVM参数怎么调优
OpenJDK JVM参数怎么调优

Java应用运行缓慢,如何调整JVM参数?本专题介绍OpenJDK JVM性能调优的基本流程,涵盖性能指标确认、运行数据采集、内存配置和垃圾回收分析,帮助你先定位瓶颈,再通过对照测试验证效果,避免直接套用参数而影响应用稳定性。

80

2026.10.16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Uvicorn官方安装与入门手册
Uvicorn官方安装与入门手册

共0课时 | 0人学习

Python uv官方项目管理指南
Python uv官方项目管理指南

共0课时 | 0人学习

Python uv官方安装与入门文档
Python uv官方安装与入门文档

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn