Pandas处理大规模CSV文件写入速度优化
在使用Pandas处理海量数据时，to_csv()函数的写入速度常常成为瓶颈。本文以一个处理约2000万条记录的案例为例，分析to_csv()写入速度慢的原因，并提供高效的解决方案。
问题：
代码使用glob模块读取多个压缩的CSV文件，用pd.concat合并成一个大型数据帧stage，再使用to_csv()写入CSV文件。读取数据耗时2分钟，而写入却耗时55分钟。代码片段如下：
import os
import glob
import pandas as pd
src_files = glob.glob(os.path.join('/my/path', "*.csv.gz"))
stage = pd.DataFrame() # 初始化DataFrame，避免重复append
for file_ in sorted(src_files):
iter_csv = pd.read_csv(file_, sep=',', index_col=False, header=0,
low_memory=False, iterator=True, chunksize=100000,
compression='gzip', memory_map=True, encoding='utf-8')
for chunk in iter_csv:
stage = pd.concat([stage, chunk], ignore_index=True)
stage.to_csv('output.csv', sep='|', header=True, index=False,
chunksize=100000, encoding='utf-8')
del stage
即使使用了chunksize参数分块写入，效率仍然低下。这是因为to_csv()函数处理大型CSV文件时效率较低。
解决方案：
推荐使用Pandas的to_hdf()函数将数据保存为HDF5格式。HDF5是一种高性能数据存储格式，能显著提升写入速度。
以下是使用to_hdf()函数的代码示例：
stage.to_hdf(r'path/file.h5', key='stage', mode='w')
将数据保存为HDF5格式能大幅缩短写入时间。在某些情况下，写入100MB数据，to_hdf()函数的执行时间可从to_csv()的30-55秒缩短到不到一秒，显著提升大规模数据处理效率。 此外， 代码中初始化一个空的DataFrame stage = pd.DataFrame()，并在循环中使用pd.concat进行高效的增量合并，避免了重复创建DataFrame带来的性能损耗。
