本文介绍如何利用 pandas 的前向填充（ffill）与布尔索引技术，将具有层级依赖关系的稀疏 excel 表格（如“base → os → package”级联结构）清洗为规整的二维 dataframe，精准保留逻辑关联并剔除冗余空行。
本文介绍如何利用 pandas 的前向填充（ffill）与布尔索引技术，将具有层级依赖关系的稀疏 excel 表格（如“base → os → package”级联结构）清洗为规整的二维 dataframe，精准保留逻辑关联并剔除冗余空行。
在实际数据处理中，常遇到一类“级联式稀疏表格”：原始 Excel 表按逻辑层级（如 Base Version → OS → Package Name → Description）纵向展开，每层信息仅在其首行出现，后续子项共享上方最近的有效值——这种结构虽便于人工阅读，却不满足数据分析所需的规整二维格式（即每行应完整承载所属层级上下文）。Pandas 提供了简洁高效的解决方案：结合 ffill() 向下传播上级字段、用布尔掩码定位有效子项、再通过 drop_duplicates() 去重保序，即可一键还原语义完整的记录。
以下为完整实现流程（基于问题中的示例数据）：
import pandas as pd
import numpy as np
# 构造可复现的原始数据
df = pd.DataFrame({
'Base Version': ['A', np.nan, np.nan, np.nan, 'X', np.nan, np.nan, np.nan],
'OS': [np.nan, 'B', np.nan, np.nan, np.nan, 'Y', np.nan, np.nan],
'Package Name': [np.nan, np.nan, 'b-01.zip', 'b-02.zip', np.nan, np.nan, 'y-01.zip', 'y-02.zip'],
'Description': [np.nan, np.nan, 'description about B-01', 'description about B-02',
np.nan, np.nan, 'description about Y-01', 'description about Y-02'],
'Version': [np.nan] * 8
})
# 步骤 1：识别真正承载数据的行（以 'Package Name' 非空为锚点）
mask = df['Package Name'].notna()
# 步骤 2：对 'Base Version' 和 'OS' 列执行前向填充，并仅取 mask 对应行的填充结果
# 再去重（保留首次出现的组合），确保每个 Package 所属的 Base/OS 关系准确映射
filled_context = df[['Base Version', 'OS']].ffill().loc[mask].drop_duplicates().reset_index(drop=True)
# 步骤 3：提取目标行 + 注入填充后的上下文
result = df[mask].copy()
result[['Base Version', 'OS']] = filled_context
print(result)输出结果：
tidy-excel-data
下载
清理、标准化、验证并汇总杂乱的 Excel 工作簿。当 Codex 需要处理 `.xlsx`、`.xls`、`.xlsm` 或 `.csv` 格式的数据时使用，包括：统一表头格式、删除空白行与空白列、修剪文本内容、去重记录、检测数据质量问题、拆分或合并工作表、生成清洗后的工作簿，以及为业务电子表格生成审计摘要。
Base Version OS Package Name Description Version 2 A B b-01.zip description about B-01 NaN 3 NaN NaN b-02.zip description about B-02 NaN 6 X Y y-01.zip description about Y-01 NaN 7 NaN NaN y-02.zip description about Y-02 NaN
✅ 关键要点说明：
- 锚点选择至关重要：此处以 'Package Name'.notna() 作为逻辑终点（leaf node），确保只保留有实际内容的明细行；若层级更深（如含 Version 子项），可扩展为 df['Version'].notna() 并调整填充列范围。
- ffill().loc[mask] 的顺序不可颠倒：必须先全量 ffill() 再按 mask 索引，否则会因中间行缺失导致填充断裂。
- drop_duplicates() 保障层级一致性：避免同一 Package 组合错误继承前一组的 Base/OS（例如第3行不应继承第6行的 X/Y）。
- 安全写法推荐：生产环境中建议使用 .copy() 显式创建副本，防止意外修改原始 DataFrame；若需导出 Excel，直接调用 result.to_excel("cleaned.xlsx", index=False) 即可。
该方法无需循环或复杂分组，兼具性能与可读性，是处理报表型层级数据的标准范式之一。
