讲师中心 微信公众号

工具推荐

视频效率加速
立刻MV
立刻MV

低成本歌曲 MV、视频生成

Laper
Laper

剧本策划到成片协作

SoundView
SoundView

字幕擦除翻译、配音口型同步

AniShort
AniShort

AI短剧协同制作平台

在Python中读取大文件时遇到MemoryError该怎么解决

落敏同学_9241

落敏同学_9241

发布时间:2026-11-23 07:27:18

|

927人浏览过

|

来源于php中文网

原创

应优先用 for line in f 逐行迭代读取文件,避免 readlines() 或 read() 导致内存溢出;对二进制文件用 read(size) 控制块大小;超大文件可用 mmap;处理链路须全程流式(如生成器),防止中间数据堆积。

在python中读取大文件时遇到memoryerror该怎么解决

用 open() 配合 for 循环逐行读取,别用 readlines()

绝大多数 MemoryError 都是因为一次性把整个文件加载进内存。比如 file.readlines() 或 file.read() 会把全部内容变成一个大列表或字符串,对 GB 级文件几乎必然崩溃。

正确做法是让 Python 自动按行迭代:

with open("huge.log", "r", encoding="utf-8") as f:
    for line in f:  # 这里不会加载整文件,只缓存当前行
        process(line)

注意:for line in f 底层调用的是 f.__iter__(),它内部使用固定大小缓冲区(通常 8KB),内存占用基本恒定,和文件大小无关。

  • 避免 readlines()、read()、list(f)
  • 如果必须跳过前 N 行,用 itertools.islice(f, N, None),别先 readlines() 再切片
  • 编码错误(如用 utf-8 读 gbk 文件)也可能触发异常退出,看似像内存问题,实为解码失败

处理二进制大文件或需要自定义块大小时,用 read(size)

文本逐行读适合日志、CSV 等换行分隔的场景;但遇到无换行的二进制文件(如视频、dump)、或每条记录定长时,就得手动控制读取粒度。

立即学习“Python免费学习笔记(深入)”;

read(size) 每次只读指定字节数,可控且稳定:

with open("data.bin", "rb") as f:
    while True:
        chunk = f.read(8192)  # 每次读 8KB
        if not chunk:
            break
        process_chunk(chunk)

块大小不是越大越好:设成 1MB 可能反而因系统页缓存策略导致延迟升高;8KB–64KB 是较稳妥的区间。

Define repeatable Python automation sessions in code with nox
Define repeatable Python automation sessions in code with nox

将测试、lint、构建和文档流程编码为命名的Python会话,以便人类和代理每次运行相同的workflow。

下载
  • 不要设 size=0(会阻塞)或负数(行为未定义)
  • 对文本文件慎用 read(n),可能截断 UTF-8 多字节字符,引发 UnicodeDecodeError
  • 若需按记录解析(如固定 1024 字节一条),用 struct.unpack() 或 memoryview 直接操作 chunk,避免复制

用 mmap 映射超大文件(1GB+),绕过 Python 对象内存开销

当文件远大于可用内存(比如 50GB 日志想快速搜索关键词),mmap 是更底层的选择:它让操作系统将文件“映射”到进程虚拟地址空间,读写操作直接走磁盘页缓存,Python 不额外分配对象内存。

import mmap
with open("bigfile.txt", "r+b") as f:
    with mmap.mmap(f.fileno(), 0, access=mmap.ACCESS_READ) as mm:
        # 支持切片、find、正则(需 bytes 模式)
        pos = mm.find(b"ERROR")
        if pos != -1:
            print(mm[pos:pos+100].decode("utf-8", errors="ignore"))

关键点:

  • 仅支持 bytes 操作,文本需自行 decode,且要处理编码边界
  • mmap.ACCESS_READ 最安全;写入需 ACCESS_WRITE + 文件足够大
  • Windows 下不能映射空文件或刚创建未写入的文件
  • 不适用于 NFS 或某些网络文件系统(mmap 可能失败或性能极差)

用生成器封装逻辑,避免中间数据堆积

即使读取本身没爆内存,后续处理链路仍可能出问题。比如一行解析成 dict 后又塞进 list,或用 pandas.read_csv() 默认全载入——这些才是隐藏的内存杀手。

核心原则:只要不需要随机访问,就用生成器流式传递:

def parse_log_lines(filepath):
    with open(filepath) as f:
        for line in f:
            try:
                yield json.loads(line.strip())
            except JSONDecodeError:
                continue
<h1>这样用,不会积累所有解析结果</h1><p>for record in parse_log_lines("app.log"):
if record.get("level") == "ERROR":
send_alert(record)

常见陷阱:

  • pandas.read_csv(..., chunksize=N) 返回可迭代对象,但忘了加 for chunk in ...,直接赋值给变量就等于全载入
  • 用 map() 或列表推导式处理大迭代器,会强制求值并存入内存
  • 日志解析中正则 re.findall(r".*", line) 可能产生大量小字符串,比原 line 还占内存

真正难的不是“怎么读”,而是“读完之后每一环节是否还保持流式”。哪怕开头用了 for line in f,后面一个 list() 就前功尽弃。

热门AI工具

更多
豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

码上飞
码上飞 Hot

一款基于自然语言的AI应用开发平台,可根据用户描述自动生成应用程序,帮助个人和团队快速完成应用原型与开发。

蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

SoundView
SoundView Hot

SoundView是一款面向跨境电商的视频翻译、配音和本地化 AI 创作平台。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

Flowith
Flowith Hot

Flowith是一款基于画布和智能体工作流的 AI 协作工作空间。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

相关专题

更多
python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

1991

2023.07.20

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

5704

2023.07.25

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

1929

2023.07.31

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

35017

2023.08.03

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

4067

2023.08.04

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

4087

2023.08.04

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

1303

2023.08.11

python合并两个列表
python合并两个列表

Python是一种强大的编程语言,具有许多方便的功能和工具。在Python中,有多种方法可以合并两个列表。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

636

2023.08.10

CVE-2026-114938高危漏洞修复
CVE-2026-114938高危漏洞修复

Java4Shell是OpenJDK Base64解码路径中的远程代码执行漏洞,编号CVE-2026-114938,2026年11月17日披露,官方已发布17.0.21.1、21.0.13.1等修复版本,建议优先升级 。本专题围绕Java4Shell(CVE-2026-114938)持续更新,从漏洞原理、受影响版本、受影响产品到修复与自查一站式汇总,适合Java开发、运维与安全人员快速定位风险。ARM64环境不受影响,x86-64环境请

0

2026.11.22

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn