
本文详解如何用 pandas.read_csv() 准确读取含多行元信息(如“Start of new file”、“MISCOUNT”)的 ADC 采集 CSV 数据,解决列名错位、NaN 列异常及索引设置失败问题。
本文详解如何用 pandas.read_csv() 准确读取含多行元信息(如“start of new file”、“miscount”)的 adc 采集 csv 数据,解决列名错位、nan 列异常及索引设置失败问题。
在嵌入式数据采集场景中(如 Teensy ADC 写入 SD 卡),CSV 文件常包含若干行非数据元信息(例如日志标记、配置说明等),导致 pandas.read_csv() 默认解析失败:header 错位、列数不匹配、末尾出现全 NaN 列。从您提供的原始 CSV 可见,前两行为无用分隔行和配置行,真正的列名位于第 3 行(索引为 2),而数据从第 4 行开始。
关键在于精准定位 header 行索引,而非盲目使用 skiprows 或 header=0/1。header 参数指定的是 header 所在的行号(从 0 开始计数),它会自动将该行作为列名,并从下一行开始读取数据。因此,对您的 CSV:
Start of new file:,,,,,,,,,,,,,,,, MISCOUNT: 0,,,,,,,,,,,,,,,, SampleNumber,C0,C1,...,C15 ← 这才是真正的 header(第 2 行,索引=2) 0,3472,3030,...,2597 ← 第 1 行数据(索引=3)
应直接设 header=2:
import pandas as pd
# ✅ 正确方式:header=2 明确指定第 3 行为列名
data = pd.read_csv("data.csv", header=2)
print(data.head())
# SampleNumber C0 C1 C2 ... C13 C14 C15
# 0 0 3472 3030 2813 ... 2633 2597 NaN ← 注意:原始 CSV 最后一列有逗号导致空字段但此时仍可能残留 NaN 列——这是因为原始 CSV 行末存在多余逗号(如 ...,2597,),使 pandas 解析出一个空列。可通过 usecols 显式指定有效列,或用 dtype=str + 后处理清洗。更稳健的做法是同时指定 header 和 usecols:
# ✅ 推荐:跳过冗余行 + 精确选取列 + 设置索引
col_names = ["SampleNumber"] + [f"C{i}" for i in range(16)] # 共 17 列
data = pd.read_csv(
"data.csv",
header=2,
usecols=col_names, # 严格按名称选取,避免空列干扰
index_col="SampleNumber" # 直接将 SampleNumber 设为行索引
)
print(data.head())
# C0 C1 C2 C3 ... C12 C13 C14 C15
# SampleNumber ...
# 0 3472 3030 2813 2695 ... 2625 2623 2633 2597
# 1 2582 2581 2576 2561 ... 2475 2475 2469 2475⚠️ 注意事项:
- 避免混用
skiprows和header:skiprows=1会跳过第 1 行,再设header=1实际指向原文件第 2 行,极易错位; - 若 CSV 行末逗号无法修改,可添加
engine='python'提升容错性(但性能略降); - 批量处理时,建议先用
pd.read_csv(..., nrows=10)快速探查真实 header 位置; - 索引列若含重复值或非数值,
index_col="SampleNumber"仍可用,但后续分组统计需注意。
最终,您无需手动编辑 CSV 文件——仅需一行 header=2 即可精准锚定列名,再结合 usecols 和 index_col 即可获得结构干净、索引就绪的数据框,为后续统计分析(如 data.describe()、data.mean(axis=1))奠定可靠基础。


















