讲师中心 微信公众号
AI工具推荐 视频效率加速

如何利用Python resource模块限制单进程可使用的系统资源?

梦瑶小哥_2433

梦瑶小哥_2433

发布时间:2026-07-07 08:24:23

|

390人浏览过

|

来源于php中文网

原创

resource.setrlimit没生效的主因是调用时机过晚,须在fork前或程序启动初期设置;还受内核配置、cgroups及权限限制影响,需尽早调用并检查异常、验证/proc/pid/limits。

如何利用python resource模块限制单进程可使用的系统资源?

resource.setrlimit 为什么没生效?

多数人第一次用 resource.setrlimit 会发现限制没起作用,最常见原因是:调用时机太晚——必须在子进程 fork 前、或程序刚启动时设置,且对当前进程及其后续 fork 出的子进程生效(但不自动继承到 exec 启动的外部命令)。Linux 下某些资源类型(如 RLIMIT_AS)还受内核配置和 cgroups 干扰。

  • 务必在 import resource 后尽早调用,不要等日志初始化、配置加载完才设
  • 检查返回值:resource.setrlimit 失败会抛 ValueError 或 PermissionError,不是静默失败
  • RLIMIT_NOFILE 限制的是打开文件描述符总数,包括 socket、pipe、普通文件,不是“文件数”

限制内存时该选 RLIMIT_AS 还是 RLIMIT_DATA?

RLIMIT_AS(address space)控制进程虚拟地址空间上限,覆盖堆、栈、mmap 区域,是限制 Python 内存占用最直接的方式;RLIMIT_DATA 只管数据段(即堆 malloc 分配),对 Python 的对象内存(由私有内存池管理)基本无效。实际中几乎只用 RLIMIT_AS。

  • 单位是字节,例如限制 512MB:resource.setrlimit(resource.RLIMIT_AS, (512*1024*1024, -1))
  • 第二个参数是 soft limit,-1 表示 unlimited;第一个是 hard limit,不能超过当前 hard limit(除非以 root 运行)
  • 触发超限时,Python 会收到 SIGSEGV 或 SIGKILL,不会抛 MemoryError —— 所以不能靠 try/except 捕获

如何验证限制是否真的生效?

别只信 setrlimit 返回成功,得看运行时行为。Linux 下用 /proc/<pid>/limits</pid> 最可靠:

cat /proc/$(pgrep -f "python your_script.py")/limits | grep "Max address space"

也可以在代码里主动读取:

Claw Code Suite (Python-Only Edition)
Claw Code Suite (Python-Only Edition)

仅使用 Python 将 Claw Code 虚拟化框架与 OpenClaw 集成,提供 184 种工具和 200 多条命令,用于安全分析和代码质量...

下载

立即学习“Python免费学习笔记(深入)”;

import resource<br>print(resource.getrlimit(resource.RLIMIT_AS))
  • getrlimit 返回元组 (soft, hard),确认 soft 值是你设的,hard 没被系统策略锁死
  • 用 ps -o pid,rss,vsz -p <pid> 看 RSS 和 VSZ,VSZ 接近 RLIMIT_AS soft 值时就快触顶了
  • 注意:Jupyter 或 IDE 启动的 Python 进程可能被父进程限制过,getrlimit 查到的可能是继承来的值

resource 模块在容器环境下的坑

Docker/Kubernetes 默认启用 cgroups v2,而 resource 模块操作的是传统 ulimit,两者不互通。如果容器已用 --memory=512m 限制,再在 Python 里设 RLIMIT_AS 可能被内核忽略,或触发更早的 OOM kill。

  • 优先信任 cgroups 限制,Python 层的 resource 更适合作为“保底防御”,而非主控手段
  • 在容器里运行前,先检查 /sys/fs/cgroup/memory.max(cgroups v2)或 /sys/fs/cgroup/memory/memory.limit_in_bytes(v1)
  • 若必须双保险,设 RLIMIT_AS 为略低于 cgroups 限制(比如 90%),避免边界抖动

真正难的是让限制与 Python 的 GC 行为协同——比如大对象无法及时回收时,RLIMIT_AS 触发的是整个进程 kill,没有回旋余地。

热门AI工具

更多
超级简历WonderCV

一款AI办公效率工具,主要用于免费求职简历模版下载制作,应届生职场人必备简历制作神器,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

AionClaw
AionClaw Hot

AionClaw是一款面向办公、创作和编程任务的AI桌面智能体。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

火山引擎

火山引擎是一款面向企业的云计算与AI服务平台。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

相关专题

更多
python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

1751

2023.07.20

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

4504

2023.07.25

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

1729

2023.07.31

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

26497

2023.08.03

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

3207

2023.08.04

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

3227

2023.08.04

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

1183

2023.08.11

python合并两个列表
python合并两个列表

Python是一种强大的编程语言,具有许多方便的功能和工具。在Python中,有多种方法可以合并两个列表。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

596

2023.08.10

OpenJDK JVM参数怎么调优
OpenJDK JVM参数怎么调优

Java应用运行缓慢,如何调整JVM参数?本专题介绍OpenJDK JVM性能调优的基本流程,涵盖性能指标确认、运行数据采集、内存配置和垃圾回收分析,帮助你先定位瓶颈,再通过对照测试验证效果,避免直接套用参数而影响应用稳定性。

0

2026.10.16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Uvicorn官方安装与入门手册
Uvicorn官方安装与入门手册

共0课时 | 0人学习

Python uv官方项目管理指南
Python uv官方项目管理指南

共0课时 | 0人学习

Python uv官方安装与入门文档
Python uv官方安装与入门文档

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn