open()返回的文件对象本身就是迭代器,支持惰性逐行读取;生成器表达式比列表推导式省内存;自定义生成器需注意文件生命周期;生成器链式组合内存恒定但只能单次消费。

open()返回的文件对象本身就是迭代器,根本不需要yield
很多人一想到“流式处理大文件”,第一反应就是写个带yield的生成器函数。但实际中,open()返回的文件对象已经实现了迭代器协议——它天然支持for line in f这种惰性逐行读取。调用next(f)时才触发系统调用读下一行,缓冲区大小由Python内部控制(通常8KB),内存里始终只存当前行+缓冲区内容。
这意味着:直接for line in open("huge.log")就能做到稳定几十MB内存占用;而一旦用readlines()或list(f),整份文件按行切分、每行变成独立字符串对象,光是Python对象头开销就可能翻倍。
生成器表达式比列表推导式省内存,因为不预分配
当你需要对大文件做过滤或转换(比如只取ERROR日志),别写[line.strip() for line in open(...)]。这个列表推导式会强制把所有匹配行一次性构造为字符串列表,内存峰值和匹配行总数正相关。
改用生成器表达式:(line.strip() for line in open("huge.log") if "ERROR" in line)。它只在for循环每次取值时执行一次判断+strip,不保留历史结果,也不预分配任何容器空间。
立即学习“Python免费学习笔记(深入)”;
- 生成器对象本身只占几百字节,和数据量无关
- 无法用
len()或索引访问,这是设计使然,不是缺陷 - 遍历完就耗尽,要重跑就得重新创建——这反而防止你误以为能反复使用
自定义生成器函数适合封装复杂逻辑,但要注意with语句生命周期
如果解析逻辑较重(比如要跳过注释、合并续行、解析JSON字段),才值得封装成生成器函数。但必须注意:文件资源要在生成器被消费时仍有效。
错误写法:def bad_reader(path): with open(path) as f: yield from f——with块退出后文件已关闭,首次next()就会报ValueError: I/O operation on closed file。
正确写法是把with放在生成器内部,或让调用方管理文件对象:
def good_reader(path):
with open(path) as f:
for line in f:
if line.strip() and not line.startswith("#"):
yield parse_log_line(line)
或者更灵活地接收文件对象:def reader_from_file(f): yield from f,由上层决定如何打开和关闭。
生成器链式组合不产生中间列表,但单次消费特性容易被忽略
多个生成器表达式可以像管道一样串联:evens = (x for x in data if x % 2 == 0); squares = (x**2 for x in evens)。整个链只维持状态机指针,没有中间列表,内存恒定。
但这里有个关键限制:每个生成器只能被消费一次。如果你写了list(squares)又想再遍历,就得重新运行整个链——不是缓存失效,而是根本没缓存。这点和pandas.DataFrame或itertools.tee()的行为完全不同,容易在调试时误判数据“消失”了。
真正复杂的流式处理(比如需要多次扫描、随机访问、或并行消费),生成器不是银弹;该用chunksize分块读pandas,或接asyncio流,就别硬套yield。


















