本文介绍如何使用pandas高效批量读取101个csv文件，对第二列（如谱密度s）逐元素平方后，按行号对所有文件对应位置的值求均值，最终获得平滑、统计稳健的平均谱功率密度曲线。
本文介绍如何使用pandas高效批量读取101个csv文件，对第二列（如谱密度s）逐元素平方后，按行号对所有文件对应位置的值求均值，最终获得平滑、统计稳健的平均谱功率密度曲线。
在科学数据处理中，常需对大量重复实验采集的CSV文件（如频谱功率密度SPD）进行统计聚合。本例涉及101个结构一致的CSV文件，每个含10001行×2列（频率W与谱密度S），目标是：对每个文件的S列平方 → 按行索引对齐 → 对101个文件同一行的平方值求均值，从而得到一条代表整体趋势的平均谱密度曲线。
关键在于避免逐文件循环计算再手动堆叠——这既低效又易出错。推荐采用“先合并、后分组”的向量化策略：
✅ 步骤一：批量读取并统一标记
import os
import pandas as pd
csv_folder = r'C:\Users\Den\Desktop\SPD' # 替换为你的实际路径
frame_list = []
for file in os.listdir(csv_folder):
if file.endswith('.csv'):
filepath = os.path.join(csv_folder, file)
df = pd.read_csv(filepath, sep=';', usecols=['W', 'S']) # 显式指定列，提升效率
df['file_id'] = file # 记录来源文件，便于调试
frame_list.append(df)
mega_df = pd.concat(frame_list, ignore_index=True, sort=False)
print(f"合并后总行数: {len(mega_df)}, 文件数: {len(frame_list)}") # 应为 101 × 10001 = 1010101⚠️ 注意：usecols参数可显著加快读取速度；ignore_index=True确保行索引连续，但后续需依赖原始行序——因此必须保证所有CSV文件行列顺序严格一致（即第i行对应相同频率点）。
✅ 步骤二：按物理行号对齐并计算均值
由于所有文件具有相同维度（10001行），我们可利用reset_index()创建统一行序号作为分组键：
立即学习“Python免费学习笔记（深入）”；
# 添加行号（0~10000），作为跨文件对齐依据
mega_df['row_idx'] = mega_df.groupby('file_id').cumcount()
# 平方S列，并按行号分组求均值
mega_df['S_sq'] = mega_df['S'] ** 2
mean_curve = mega_df.groupby('row_idx')[['W', 'S_sq']].mean().reset_index(drop=True)
mean_curve.columns = ['W', 'S_mean_squared']此时 mean_curve 即为所求结果：W 列为频率轴（自动取均值，若原始各文件W完全一致则无损），S_mean_squared 为101个文件对应行S²的算术平均值。
✅ 步骤三：可视化结果
import matplotlib.pyplot as plt
plt.figure(figsize=(10, 6))
plt.plot(mean_curve['W'], mean_curve['S_mean_squared'], linewidth=1.2, label='Avg SPD (S²)')
plt.xlabel('Frequency (W)')
plt.ylabel('Mean Squared Spectral Power Density')
plt.title('Averaged SPD over 101 Measurements')
plt.grid(True, alpha=0.3)
plt.legend()
plt.tight_layout()
plt.show()? 验证与健壮性建议
-
一致性校验：运行前建议检查前几行W值是否完全一致：
# 验证所有文件首行W是否相同 w_refs = [pd.read_csv(os.path.join(csv_folder, f), sep=';', nrows=1)['W'].iloc[0] for f in os.listdir(csv_folder) if f.endswith('.csv')] assert len(set(w_refs)) == 1, "Warning: Frequency columns are not aligned!" - 内存优化：若文件极大，可用dask.dataframe替代pandas，或改用生成器逐块处理。
- 错误处理：生产环境应添加try-except捕获读取异常，并跳过损坏文件。
通过该流程，你将摆脱单文件绘图的“噩梦”（如原图所示的噪声剧烈波动），获得一条物理意义明确、统计可靠的平均谱密度曲线——这才是多重复测量数据应有的呈现方式。
