应优先用 for line in f 逐行迭代读取文件,避免 readlines() 或 read() 导致内存溢出;对二进制文件用 read(size) 控制块大小;超大文件可用 mmap;处理链路须全程流式(如生成器),防止中间数据堆积。

用 open() 配合 for 循环逐行读取,别用 readlines()
绝大多数 MemoryError 都是因为一次性把整个文件加载进内存。比如 file.readlines() 或 file.read() 会把全部内容变成一个大列表或字符串,对 GB 级文件几乎必然崩溃。
正确做法是让 Python 自动按行迭代:
with open("huge.log", "r", encoding="utf-8") as f:
for line in f: # 这里不会加载整文件,只缓存当前行
process(line)注意:for line in f 底层调用的是 f.__iter__(),它内部使用固定大小缓冲区(通常 8KB),内存占用基本恒定,和文件大小无关。
- 避免
readlines()、read()、list(f) - 如果必须跳过前 N 行,用
itertools.islice(f, N, None),别先readlines()再切片 - 编码错误(如用
utf-8读gbk文件)也可能触发异常退出,看似像内存问题,实为解码失败
处理二进制大文件或需要自定义块大小时,用 read(size)
文本逐行读适合日志、CSV 等换行分隔的场景;但遇到无换行的二进制文件(如视频、dump)、或每条记录定长时,就得手动控制读取粒度。
立即学习“Python免费学习笔记(深入)”;
read(size) 每次只读指定字节数,可控且稳定:
with open("data.bin", "rb") as f:
while True:
chunk = f.read(8192) # 每次读 8KB
if not chunk:
break
process_chunk(chunk)块大小不是越大越好:设成 1MB 可能反而因系统页缓存策略导致延迟升高;8KB–64KB 是较稳妥的区间。
将测试、lint、构建和文档流程编码为命名的Python会话,以便人类和代理每次运行相同的workflow。
- 不要设
size=0(会阻塞)或负数(行为未定义) - 对文本文件慎用
read(n),可能截断 UTF-8 多字节字符,引发UnicodeDecodeError - 若需按记录解析(如固定 1024 字节一条),用
struct.unpack()或memoryview直接操作chunk,避免复制
用 mmap 映射超大文件(1GB+),绕过 Python 对象内存开销
当文件远大于可用内存(比如 50GB 日志想快速搜索关键词),mmap 是更底层的选择:它让操作系统将文件“映射”到进程虚拟地址空间,读写操作直接走磁盘页缓存,Python 不额外分配对象内存。
import mmap
with open("bigfile.txt", "r+b") as f:
with mmap.mmap(f.fileno(), 0, access=mmap.ACCESS_READ) as mm:
# 支持切片、find、正则(需 bytes 模式)
pos = mm.find(b"ERROR")
if pos != -1:
print(mm[pos:pos+100].decode("utf-8", errors="ignore"))关键点:
- 仅支持
bytes操作,文本需自行 decode,且要处理编码边界 -
mmap.ACCESS_READ最安全;写入需ACCESS_WRITE+ 文件足够大 - Windows 下不能映射空文件或刚创建未写入的文件
- 不适用于 NFS 或某些网络文件系统(mmap 可能失败或性能极差)
用生成器封装逻辑,避免中间数据堆积
即使读取本身没爆内存,后续处理链路仍可能出问题。比如一行解析成 dict 后又塞进 list,或用 pandas.read_csv() 默认全载入——这些才是隐藏的内存杀手。
核心原则:只要不需要随机访问,就用生成器流式传递:
def parse_log_lines(filepath):
with open(filepath) as f:
for line in f:
try:
yield json.loads(line.strip())
except JSONDecodeError:
continue
<h1>这样用,不会积累所有解析结果</h1><p>for record in parse_log_lines("app.log"):
if record.get("level") == "ERROR":
send_alert(record)常见陷阱:
-
pandas.read_csv(..., chunksize=N)返回可迭代对象,但忘了加for chunk in ...,直接赋值给变量就等于全载入 - 用
map()或列表推导式处理大迭代器,会强制求值并存入内存 - 日志解析中正则
re.findall(r".*", line)可能产生大量小字符串,比原 line 还占内存
真正难的不是“怎么读”,而是“读完之后每一环节是否还保持流式”。哪怕开头用了 for line in f,后面一个 list() 就前功尽弃。

















