处理大文件应避免全量加载内存，优先采用流式、分块或延迟加载方式：逐行读取、mmap随机访问、ijson/xml流解析、csv.DictReader+islice跳行、gzip/bz2直接解压、dask/polars替代pandas、sqlite3加速过滤，并用with管理句柄、psutil监控内存、ThreadPoolExecutor重叠IO。
处理大文件时，核心原则是避免一次性将全部内容加载到内存中。Python 提供了多种流式、分块、延迟加载的方式，关键在于根据场景选择合适的方法，兼顾效率、可读性和资源控制。
用生成器逐行或分块读取文本文件
对于超大文本文件（如日志、CSV），for line in open(...) 默认就是迭代器行为，内存占用恒定。但更稳妥的做法是显式使用生成器函数，支持自定义分块大小或解析逻辑。
- 普通逐行：直接
with open('big.txt') as f: for line in f:—— Python 内部已缓冲，安全高效 - 按固定字节数读取：
f.read(8192)配合循环，适合二进制或需跳过头部的场景 - 自定义分块解析：例如读 CSV 时用
pandas.read_csv(..., chunksize=10000)返回可迭代的 DataFrame 块
用 mmap 映射超大二进制文件
当需要随机访问大文件（如数据库快照、内存映像、视频帧提取），mmap 模块让文件像内存数组一样操作，系统按需分页加载，不增加 Python 堆内存压力。
- 适用场景：查找特定字节模式、修改局部区域、跨进程共享文件视图
- 注意：Windows 上需以
r+或w+打开；Linux/macOS 支持只读映射更灵活 - 示例：
with open('data.bin', 'r+b') as f: mm = mmap.mmap(f.fileno(), 0); mm[1024:2048] = b'new'
用迭代器 + yield 处理复杂结构化数据
面对嵌套 JSON、XML 或自定义协议的大文件，不要用 json.load() 全量解析。改用流式解析器，边读边 yield 结构化对象。
立即学习“Python免费学习笔记（深入）”；
- JSON：用
ijson库，例如ijson.parse(f)或ijson.items(f, 'records.item') - XML：用
xml.etree.ElementTree.iterparse()，配合clear()释放已处理节点 - 自定义格式：写生成器函数，按分隔符/长度/标记切分，yield 解析后的 dict 或 namedtuple
善用标准库和轻量第三方工具
避免造轮子。优先考虑内置模块和经过验证的小型库，它们通常已针对内存与性能做过优化。
-
csv.DictReader+itertools.islice：快速跳过前 N 行或限制读取行数 -
gzip.open/bz2.open：直接读写压缩文件，无需解压到磁盘 -
dask.dataframe或polars：替代 pandas 处理百 GB 级表格数据，支持并行和惰性计算 -
sqlite3：把大文件导入临时内存数据库，用 SQL 查询过滤再导出，比纯 Python 过滤更快
不复杂但容易忽略：始终用 with 语句管理文件句柄；监控 psutil.Process().memory_info().rss 验证实际内存表现；对 IO 密集任务，考虑用 concurrent.futures.ThreadPoolExecutor 重叠读取与处理，而非盲目上多进程。
