生成器表达式不能直接安全读文件,需封装为带with语句的生成器函数以确保文件及时关闭、正确编码和行处理;超长行应按块读取并手动拆分;管道处理宜合并为单生成器而非多层map/filter;合并多文件用yield from更轻量高效。

生成器表达式本身不能直接读文件,得配 open() + yield
很多人误以为写个 (line.strip() for line in open("big.txt")) 就万事大吉——其实这会把整个文件句柄留在内存里,且没异常保护,文件可能不关闭。更糟的是,如果后续用 list() 包一层(比如调试时随手加的),立刻触发全量加载,GB 文件秒变 MemoryError。
正确做法是自己封装成生成器函数:
def read_lines(filepath):
with open(filepath, encoding="utf-8") as f:
for line in f:
yield line.rstrip("\n\r")
-
with确保文件句柄及时释放,哪怕中途break或抛异常 - 用
rstrip("\n\r")而非strip(),避免误删行首尾空格/制表符(文本处理中常需保留缩进) - 显式指定
encoding,否则在 Windows 上默认cp1252,遇到 UTF-8 中文直接UnicodeDecodeError
逐块读取比逐行更稳:用 iter() + readline 防止超长行撑爆内存
有些日志或 CSV 导出文件里混着几 MB 一行的 base64 字段,for line in f 会把整行读进内存,生成器也救不了你。
这时该切回“按字节块”读,再手动拆行:
立即学习“Python免费学习笔记(深入)”;
def read_lines_by_chunk(filepath, chunk_size=8192):
buffer = ""
with open(filepath, "rb") as f: # 二进制模式避编码问题
while True:
chunk = f.read(chunk_size)
if not chunk:
break
buffer += chunk.decode("utf-8", errors="ignore")
lines = buffer.split("\n")
buffer = lines.pop() # 留下未结束的行
for line in lines:
yield line
if buffer: # 文件末尾无换行符时
yield buffer
-
errors="ignore"比"replace"更适合脏数据场景,避免把解码失败处变成 影响后续正则匹配 -
chunk_size设为 8KB 是经验平衡点:太小(如 1B)系统调用开销大;太大(如 1MB)单次读仍可能溢出 - 注意返回的是
str,不是bytes,下游逻辑不用再 decode
管道式处理别用 map() 套多层,优先写成单生成器
看到 “先去空行、再分词、再过滤停用词”,容易本能写成:
lines = read_lines("big.txt")
no_empty = filter(bool, lines)
tokens = map(lambda x: x.split(), no_empty)
filtered = map(lambda xs: [w for w in xs if w not in stops], tokens)
这看似惰性,但 Python 的 map 和 filter 在 CPython 中实际是用 C 实现的闭包,每层都引入额外函数调用和对象包装开销,对 GB 文件累计可观延迟,且调试时无法在中间断点。
更直白、可控的做法是合并到一个生成器里:
def process_text(filepath, stops=None):
stops = stops or set()
for line in read_lines(filepath):
if not line:
continue
words = line.split()
yield [w for w in words if w not in stops]
- 逻辑集中,增删字段、加日志、插
print(f"line {i}: {line[:50]}")都方便 - 避免嵌套生成器导致的
GeneratorExit异常传播混乱(尤其配合timeout或concurrent.futures时) - 若需复用某步(如统一编码清洗),抽成独立生成器函数即可,不强求链式
yield from 是拼接多个大文件的干净写法
要合并 10 个各 2GB 的日志文件做统一分析?别用 itertools.chain(*[read_lines(f) for f in files]) —— 列表推导式会提前实例化全部 10 个生成器对象,虽不加载内容,但对象本身占内存,且 chain 内部状态管理稍重。
用 yield from 更轻量:
def cat_files(filepaths):
for path in filepaths:
yield from read_lines(path) # 直接委托,无中间容器
-
yield from是 Python 3.3+ 特性,兼容性没问题;它把子生成器的send()/throw()透传,适合需要协程交互的场景 - 如果某个文件打不开,异常会原样抛出,位置清晰;而
chain在迭代到那个文件时才报错,堆栈更深 - 注意:不要在
yield from后面再写yield,CPython 会警告SyntaxWarning: 'yield' inside generator expression
真正卡住人的往往不是生成器语法,而是忘记检查原始数据里的边界情况:超长行、BOM 头、混合编码、空文件、权限拒绝。写完生成器后,先用 head -n 100 big.txt > test.txt 做小样本验证,再上真数据。


















