
本文介绍在内存不足时,使用pandas分块读取(chunksize)结合流式聚合策略处理超大CSV文件的最佳实践,覆盖求和、条件过滤、分组统计等核心操作,并对比原生csv模块的轻量级替代方案。
本文介绍在内存不足时,使用pandas分块读取(`chunksize`)结合流式聚合策略处理超大csv文件的最佳实践,覆盖求和、条件过滤、分组统计等核心操作,并对比原生`csv`模块的轻量级替代方案。
当面对10GB级别的CSV文件时,直接调用 pd.read_csv() 极易触发 MemoryError。幸运的是,pandas 提供了 分块迭代(chunking) 机制,配合合理的状态累积逻辑,完全可以在有限内存下完成典型数据分析任务——无需切换技术栈,也无需依赖Spark等重型框架。
✅ 推荐方案:pd.read_csv(chunksize=...) + 增量聚合
这是最平衡、最易维护的 pandas 原生方案。关键在于:不保存完整DataFrame,只在每块中提取所需中间结果,最后合并汇总。
? 示例:计算全量 value 列总和
import pandas as pd
total = 0
for chunk in pd.read_csv('large_file.csv',
names=['id', 'value', 'category'],
chunksize=50000): # 每次读5万行(按内存调整)
total += chunk['value'].sum()
print(f"Total value: {total:.2f}")? 示例:条件过滤并保存到新文件(避免内存堆积)
# 使用 chunk 过滤并流式写入,不缓存全部匹配行
with open('filtered.csv', 'w', newline='') as f:
writer = None
for chunk in pd.read_csv('large_file.csv',
names=['id', 'value', 'category'],
chunksize=50000):
filtered_chunk = chunk[chunk['category'] > 5]
if writer is None:
filtered_chunk.to_csv(f, index=False, header=True)
writer = True
else:
filtered_chunk.to_csv(f, index=False, header=False)? 示例:分组聚合(如按 category 计算 value 均值)
由于均值 = 总和 / 计数,我们需分别累积各组的 sum 和 count:
from collections import defaultdict
import numpy as np
group_sums = defaultdict(float)
group_counts = defaultdict(int)
for chunk in pd.read_csv('large_file.csv',
names=['id', 'value', 'category'],
chunksize=50000):
grouped = chunk.groupby('category')['value'].agg(['sum', 'count'])
for cat, row in grouped.iterrows():
group_sums[cat] += row['sum']
group_counts[cat] += row['count']
# 最终计算均值
result = {cat: group_sums[cat] / group_counts[cat]
for cat in group_sums}
print("Group means:", {k: round(v, 4) for k, v in result.items()})⚠️ 注意事项与优化技巧
-
chunksize并非越大越好:建议从10000–100000起步,通过psutil.virtual_memory()监控实际内存占用后动态调优; -
列选择优先:使用
usecols=['value', 'category']显式指定所需列,跳过无关字段可显著降低内存压力; -
数据类型精简:通过
dtype={'category': 'uint8'}等强制小类型,避免默认int64/float64浪费空间; -
避免
.concat()全量拼接:如需构建子集DataFrame,优先用pd.concat(chunks, ignore_index=True)且控制chunks数量(例如仅保留满足条件的前N块); -
替代方案权衡:
- ✅ 纯
csv模块流式处理:内存开销最低( - ⚠️ Dask DataFrame:语法接近pandas,支持并行与磁盘溢出,但引入额外依赖与学习成本;
- ❌
iterator=True单行遍历:性能极差,仅作极端场景兜底。
- ✅ 纯
? 总结
对绝大多数内存受限的CSV分析任务,chunksize 分块 + 增量状态管理 是最务实、最可控的解决方案。它充分发挥pandas的向量化优势于每个数据块内,同时规避全局加载瓶颈。只要明确最终目标(是求和?是过滤?是分组?),就能设计出对应的状态变量(标量、字典、列表),让10GB文件像“水流”一样穿过你的程序——安静、高效、零崩溃。


















