讲师中心 微信公众号
AI工具推荐 视频效率加速

如何在Python中限制文件写入速度以避免打满磁盘IO?

酷墨吖_9530

酷墨吖_9530

发布时间:2026-09-17 11:20:33

|

667人浏览过

|

来源于php中文网

原创

仅用time.sleep()无法限速磁盘写入,因默认缓冲使数据滞留内存;需配合buffering设置、flush()、fsync()及按实际字节数动态sleep,再辅以ionice/cpulimit和内核参数调优。

如何在python中限制文件写入速度以避免打满磁盘io?

直接用 time.sleep() 控制写入节奏是最简单有效的办法,但必须配合缓冲区管理,否则 sleep 会白加、IO 效率反而更低。

为什么不能只靠 time.sleep() 在循环里硬等?

Python 的 file.write() 默认使用系统缓冲,数据可能滞留在内存中没真正落盘;你 sleep 了,但内核还在后台狂刷 buffer,磁盘 IO 峰值照样打满。真正要限速的是「实际提交到块设备的写入速率」,不是「调用 write() 的频率」。

实操建议:

  • 打开文件时显式设置 buffering=1(行缓冲)或更小的固定值(如 buffering=8192),避免默认的大缓冲(通常 8KB–64KB 不等)掩盖真实 IO 节奏
  • 每次写完立刻调用 file.flush(),把数据推给内核;再用 os.fsync(file.fileno()) 强制刷盘——只有这时才算一次“有效写入”
  • sleep 应该放在 fsync() 之后,按「每写 N 字节耗时 M 秒」反推间隔,而不是按「每写一行 sleep 0.1 秒」这种拍脑袋策略

io.BufferedWriter + 自定义写入器控制吞吐量

比裸 file 对象更可控:能精确截断缓冲、暴露底层 write() 调用时机,并支持非阻塞判断(比如配合 select,不过磁盘文件不支持,此处仅作对比参考)。核心是重写 write() 方法,在每次提交前做速率核算。

立即学习Python免费学习笔记(深入)”;

示例逻辑(非完整类,仅示意关键点):

python全能编程助手
python全能编程助手

SkillSub Pro - Python 题解与代码注释双功能技能功能概述SkillSub Pro - Python 题解与代码注释双功能技能是一项面向实际任务的技能,主要用于SkillSub Pro 是一个 Python 题解生成与代码注释的 双功能合体技能 ,专为学生、算法学习者和开发者设计;✅ 一个技能,两种用途 :;核心要点📝 题解模式 :输入题目/题号,自动生成完整 Python 题解(含详细注释、解题思路、复杂度分析);💬 注释模式 :输入 Python 代码,自动添加详细中。它将相关步骤、

下载
class RateLimitedWriter:
    def __init__(self, fp, max_bps=1024*1024):  # 1MB/s
        self.fp = fp
        self.max_bps = max_bps
        self.bytes_written = 0
        self.start_time = time.time()
<pre class="brush:php;toolbar:false;">def write(self, data):
    # 算出当前已用带宽
    elapsed = time.time() - self.start_time
    expected = elapsed * self.max_bps
    if self.bytes_written > expected:
        # 超速了,sleep 补齐延迟
        sleep_for = (self.bytes_written - expected) / self.max_bps
        time.sleep(max(0, sleep_for))
        self.start_time = time.time()  # 重置计时起点
    n = self.fp.write(data)
    self.bytes_written += n
    self.fp.flush()
    os.fsync(self.fp.fileno())
    return n

注意:max_bps 是目标平均速率,瞬时仍可能波动;os.fsync() 本身有开销,如果写小块数据太频繁,CPU 可能先于磁盘成为瓶颈。

Linux 下用 ionicecpulimit 辅助降权(Python 进程级)

纯 Python 层限速无法解决「其他进程同时写磁盘」的问题,也压不住某些内核缓冲策略(如 `vm.dirty_ratio`)。这时候需要 OS 层配合:

  • 启动脚本前加 ionice -c 3 python script.py,将进程设为 idle I/O class,内核会尽量让出 IO 带宽
  • 若 CPU 成为瓶颈(比如 fsync 太多),可用 cpulimit -l 20 python script.py 限制 CPU 使用率,间接拖慢写入节奏
  • 临时调低内核脏页参数(需 root):echo 5 > /proc/sys/vm/dirty_ratio,减少后台刷盘压力(注意重启失效)

这些命令对容器环境也有效,但 ionice 在 cgroup v2 下行为有差异,建议先用 ionice -p $PID 确认生效。

最易被忽略的是:不同文件系统(ext4 vs XFS vs Btrfs)对 fsync() 的实现差异极大,XFS 在高并发下可能批量合并 sync 请求,导致你的 sleep 计算完全失准。实测时务必用 iostat -x 1%utilawait,别只信 Python 层的计时。

热门AI工具

更多
Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

火山引擎

火山引擎是一款面向企业的云计算与AI服务平台。

LibLibAI
LibLibAI Hot

一款AI视频创作工具,主要用于国内领先的AI创意平台,以海量模型、低门槛操作与“创作-分享-商业化”生态,让小白与专业创作者都能高效实现图文乃至视频创意表达,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

VibeKnow
VibeKnow Hot

一款AI视频创作工具,主要用于全球首个AI知识视频创作平台,文档、文章、网页,一键生成视频,适合需要提升相关任务效率的用户。

Seko
Seko Hot

一款AI视频创作工具,主要用于商汤科技推出的创编一体的AI短视频创作Agent,适合需要提升相关任务效率的用户。

相关专题

更多
python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

1551

2023.07.20

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

3664

2023.07.25

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

1569

2023.07.31

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

20977

2023.08.03

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2587

2023.08.04

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2647

2023.08.04

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

1083

2023.08.11

python合并两个列表
python合并两个列表

Python是一种强大的编程语言,具有许多方便的功能和工具。在Python中,有多种方法可以合并两个列表。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

576

2023.08.10

Conan私有仓库搭建教程
Conan私有仓库搭建教程

本专题系统的讲解Conan私有仓库的搭建流程,涵盖仓库服务部署、存储目录配置、用户认证、权限划分和远程地址添加,并介绍内部C++依赖包的上传、下载及版本维护方法。

0

2026.09.22

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn