优化Pandas大数据帧CSV写入速度

在处理大型Pandas DataFrame时，使用to_csv()函数写入CSV文件经常成为性能瓶颈。本文针对一个耗时近一小时的案例，分析问题并提供高效解决方案。

问题描述：

代码使用glob模块读取多个压缩的CSV文件（.csv.gz），并利用pd.read_csv以分块读取方式（chunksize=100000）加载数据到Pandas DataFrame。然而，将最终的DataFrame写入CSV文件（to_csv()）却花费了55分钟。数据量约2000万条记录，100列，主要为数值型数据。代码如下：

import os
import glob
import pandas as pd

src_files = glob.glob(os.path.join('/my/path', "*.csv.gz"))

df = pd.DataFrame()  # 初始化一个空DataFrame
for file_ in sorted(src_files):
    iter_csv = pd.read_csv(file_, sep=',', index_col=False, header=0, 
                           low_memory=False, iterator=True, chunksize=100000, 
                           compression='gzip', memory_map=True, encoding='utf-8')
    df = pd.concat([chunk for chunk in iter_csv], ignore_index=True)

df.to_csv('output.csv', sep='|', header=True, index=False, chunksize=100000, encoding='utf-8')

del df

即使使用了分块读取和写入（chunksize=100000），写入速度仍然很慢。

解决方案：

为了提高写入效率，建议使用更适合大规模数据存储的HDF5格式。Pandas的to_hdf()函数可以显著提升写入速度。以下代码展示了如何使用to_hdf()：

df.to_hdf(r'path/file.h5', key='df', mode='w')

to_hdf()方法能大幅缩短写入时间。某些情况下，写入100MB数据到HDF5文件只需不到一秒，而to_csv()可能需要30-55秒。因此，to_hdf()是处理大型Pandas DataFrame的更优选择，尤其在写入速度至关重要的场景下。 后续如需读取，可以使用pd.read_hdf()函数。