本文介绍在pandas中处理跨多行的逻辑分组数据（如姓名重复时其后续行为空值）时，如何精准识别并仅保留首次出现的完整分组，而非简单按单列去重，从而避免破坏数据结构完整性。
本文介绍在pandas中处理跨多行的逻辑分组数据（如姓名重复时其后续行为空值）时，如何精准识别并仅保留首次出现的完整分组，而非简单按单列去重，从而避免破坏数据结构完整性。
在实际数据清洗中，常遇到“逻辑分组”形式的表格：同一实体（如人员姓名）的信息分散在连续多行，首行含标识字段（如 Name），后续行对应字段为空或 None，共同构成一个语义完整的数据块。此时若直接使用 df.drop_duplicates(subset='Name')，仅会保留每个 Name 的首行记录，导致后续关联行（如 Mas 和 Sce 的括号内容）丢失，破坏数据完整性。
正确思路是：将空值/空字符串统一为 NaN → 基于非空 Name 生成分组标记 → 标记所有属于“重复分组”的行（包括其全部附属行）→ 整体过滤。
以下是完整、可复用的解决方案：
import pandas as pd
import numpy as np
# 构建原始数据（注意：原始数据中存在空字符串 '' 和 None）
d = {
'Name': ['M', None, None, 'T', 'R', 'G', 'M', '', ''],
'Mas': ['( (87)', '(91)', '(97) )', '(77)', '(60)', '(95)', '( (50)', '(50)', '(99) )'],
'Sce': ['83', '', '', '76', '32', '20', '89', '', '']
}
df = pd.DataFrame(d)
# 步骤1：统一清理 Name 列——将空字符串和 None 统一转为 NaN，便于后续逻辑处理
df["Name"] = df["Name"].replace("", np.nan).where(df["Name"].notna() | (df["Name"] != ""), np.nan)
# 步骤2：创建分组标识列（前向填充后的 Name），用于识别每行所属逻辑组
df["Group"] = df["Name"].ffill()
# 步骤3：标记需保留的组——仅保留每个 Group 首次出现时对应的所有行
group_dup = df["Group"].duplicated(keep="first")
# 对于属于重复组的行，标记为 False；否则为 True
mask = ~group_dup.groupby(df["Group"]).transform('any')
# 步骤4：应用掩码，获取最终结果
result = df[mask].drop(columns=["Group"]).reset_index(drop=True)
print(result)输出结果：
Name Mas Sce 0 M ( (87) 83 1 NaN (91) 2 NaN (97) ) 3 T (77) 76 4 R (60) 32 5 G (95) 20
✅ 关键要点说明：
- ffill() 是识别逻辑分组的核心——它将 M 后续空行自动归属到同一组；
- duplicated(keep="first") 作用于 Group 列，返回布尔 Series，表示该行所属组是否为重复出现；
- groupby(...).transform('any') 确保整个重复组的所有行均被标记为 True（即应剔除），而非仅首行；
- 最终 mask = ~... 实现“只保留首次出现的完整分组”。
⚠️ 注意事项：
- 数据必须满足“分组连续性”假设：同一实体的所有行在表中物理连续；
- 若 Name 列存在真实空值（非分组占位符），需提前业务判断是否参与分组；
- Mas 和 Sce 中的括号格式无需解析即可保留，本方案完全保持原始字符串结构。
该方法兼顾鲁棒性与可读性，适用于报表导入、OCR 表格解析等常见场景，是处理嵌套式宽表结构的标准化实践。
