本文介绍如何不拆分原始文件，直接读取并解析具有两个（或多个）独立表头、不同列数的 csv 文件，分别构建字典结构，兼顾灵活性与健壮性。
本文介绍如何不拆分原始文件，直接读取并解析具有两个（或多个）独立表头、不同列数的 csv 文件，分别构建字典结构，兼顾灵活性与健壮性。
在实际工程和数据采集场景中，常遇到「单文件多表格」格式的 CSV：例如设备报告中先有元信息（文件名、时间、类型等），空行分隔后紧接详细测量数据。这类文件不符合标准单表 CSV 规范，无法直接用 pandas.read_csv() 或 csv.DictReader 一次性加载。但借助底层 csv.reader 结合逻辑跳过与条件判断，我们能精准定位各段起始位置，实现零临时文件、高可控性的解析。
✅ 推荐方案：分阶段读取 + 条件跳过空行
核心思路是流式读取、按需消费——使用 csv.reader 获取迭代器，手动控制读取节奏，避免将整个文件载入内存，同时确保对空行、空白单元格的鲁棒处理。
以下为完整可运行示例（兼容 Python 3.9+，无需额外依赖）：
QuickBooks Mileage CSV
下载
使用 qbo-mileage CLI 及用户凭证，从 Airtable、Outlook 或 Google Calendar 记录生成 QuickBooks Online 里程 CSV 文件。
import csv
from io import StringIO
# 模拟原始 CSV 内容（实际使用时替换为 open('file.csv')）
raw_data = '''File name,Date,Time,ID,Type
report.csv,27.03.2024,11:15,12345,Thing
No.,Device,Version,Readout date,Readout time,Value 1,Value 2,Value 3
1,2345678,10,26.03.2024,10:00,463,470,482
2,3456789,11,26.03.2024,11:00,298,340,363
3,4567890,12,26.03.2024,12:00,587,600,621
'''
# 创建 reader 迭代器
reader_obj = csv.reader(StringIO(raw_data))
# ? 第一部分：元信息表（2 行：header + data）
try:
header1 = next(reader_obj)
data1 = next(reader_obj)
# 去除空字段，避免因末尾逗号导致空列干扰
header1 = [h.strip() for h in header1 if h.strip()]
data1 = [d.strip() for d in data1[:len(header1)]]
section1 = dict(zip(header1, data1))
except StopIteration:
raise ValueError("第一部分缺失：预期至少两行（表头 + 数据）")
# ? 跳过所有空行（包括完全空白或仅含空格的行）
while True:
try:
line = next(reader_obj)
if any(cell.strip() for cell in line): # 找到首个非空行 → 即第二部分表头
header2 = [h.strip() for h in line if h.strip()]
break
except StopIteration:
raise ValueError("未找到第二部分表头：文件可能缺少后续数据段")
# ? 第二部分：逐行读取剩余非空行作为数据
rows2 = []
for row in reader_obj:
if any(cell.strip() for cell in row):
# 截断至 header2 长度，防止数据行列数溢出（如导出异常）
trimmed_row = [cell.strip() for cell in row[:len(header2)]]
rows2.append(trimmed_row)
# 构建第二部分字典：每列为一个 list（列优先存储）
if rows2:
transposed = list(map(list, zip(*rows2)))
section2 = dict(zip(header2, transposed))
else:
section2 = {col: [] for col in header2}
# ✅ 最终结果
print("【第一部分元信息】")
print(section1)
print("\n【第二部分测量数据（列式字典）】")
print({k: v[:3] + ['...'] if len(v) > 3 else v
for k, v in section2.items()}) # 示例中仅显示前3项⚠️ 关键注意事项
- 空行检测必须严格：仅用 if line: 不够（CSV 中空单元格仍返回 ['']），应使用 any(cell.strip() for cell in line) 判断是否真有有效内容；
- 列对齐安全机制：第二部分数据行可能比表头短（缺失值）或长（导出错误），务必用 row[:len(header)] 截断，避免 zip 提前终止；
- 编码与分隔符：若文件含中文或特殊字符，请在 open(..., encoding='utf-8') 中显式指定编码；若非逗号分隔，传入 csv.reader(f, delimiter=';')；
- 内存友好替代方案：对超大文件，可将第二部分改用生成器逐行处理（如写入数据库），而非全量载入 rows2 列表。
? 总结
该方法摒弃了“强行用 pandas 一锅炖”的思路，转而发挥 csv.reader 的底层可控性，通过三次逻辑阶段（读首表、跳空行、读次表）清晰分离关注点。它不依赖外部库（pandas 可选）、不生成中间文件、支持任意数量分段，并天然兼容不规则格式。对于工业日志、仪器导出报表等现实场景，是简洁、可靠且易于维护的标准解法。
立即学习“Python免费学习笔记（深入）”；
