Python读大文件应流式处理：文本文件推荐with open()逐行迭代；超长行或二进制用read(size)分块；随机访问用mmap；结构化数据优先用csv、jsonlines、iterparse等标准库迭代器。
Python 读大文件的关键是避免一次性加载全部内容到内存，而是采用流式、分块或按需处理的方式。核心原则是：用多少读多少，边读边处理，及时释放资源。
使用 with 语句配合逐行迭代
对文本大文件（如日志、CSV），最常用且安全的方式是直接迭代文件对象。Python 的 file object 是迭代器，默认按行缓冲，内存占用稳定：
- ✅ 推荐写法：for line in open("huge.log"): —— 简洁但不推荐，因未显式关闭
- ✅ 更稳妥写法：with open("huge.log", encoding="utf-8") as f: for line in f: process(line)
- ⚠️ 注意：line 包含换行符 \n，必要时用 line.rstrip() 清理
- ⚠️ 若某行超长（如单行 JSON 或 base64），仍可能触发内存峰值，此时需改用分块读取
分块读取（chunked reading）应对超长行或二进制场景
当文件无明确行结构、或存在超长单行、或为二进制数据（如大图片、压缩包片段）时，用 read(size) 控制每次读取字节数：
- ✅ 示例：with open("data.bin", "rb") as f: while chunk := f.read(8192): process(chunk)
- ✅ 缓冲区大小通常设为 4KB–64KB（如 8192、65536），过小增加系统调用开销，过大抵消流式优势
- ⚠️ 注意：不能直接用 readline() 替代，它会内部缓冲直到遇到 \n，可能意外加载整块
内存映射（mmap）加速随机访问大文件
适用于需要频繁跳转读取（如解析固定格式二进制数据库、查找特定偏移位置）的场景，让 OS 管理页面调度，避免 Python 层复制：
立即学习“Python免费学习笔记（深入）”；
- ✅ 示例：import mmap; with open("index.dat", "rb") as f: mm = mmap.mmap(f.fileno(), 0, access=mmap.ACCESS_READ); data = mm[1024:2048]
- ✅ 优势：零拷贝、支持切片语法、可配合 struct.unpack 高效解析二进制结构
- ⚠️ 注意：Windows 上需确保文件打开模式不含 'r+' 或 'w'；映射后仍需 mm.close()（或用 with 语句自动管理）
借助标准库工具提升结构化处理效率
针对常见格式，优先使用专有迭代器而非手动解析：
- ✅ CSV：用 csv.reader(f) 或 csv.DictReader(f)，它们本身按行迭代，不缓存全量
- ✅ JSON Lines（每行一个 JSON）：用 json.loads(line) 逐行解析，比 json.load(f)（读整个文件）安全得多
- ✅ XML：用 xml.etree.ElementTree.iterparse() 流式解析，设置 events=("start", "end") 并及时 clear() 已处理节点
- ⚠️ 避免：pandas.read_csv(..., chunksize=) 虽支持分块，但每块仍是 DataFrame，内存开销仍高于纯文本迭代
