本文介绍一种针对含跨行分组结构（如姓名重复占据多行）的pandas数据表，精准识别并仅保留首次出现的完整组、剔除后续重复组的高效方法，避免简单drop_duplicates导致的结构断裂。
本文介绍一种针对含跨行分组结构（如姓名重复占据多行）的pandas数据表，精准识别并仅保留首次出现的完整组、剔除后续重复组的高效方法，避免简单drop_duplicates导致的结构断裂。
在实际数据处理中，常遇到“逻辑组”跨越多行的情况：同一实体（如姓名）占据连续多行，其属性（如Mas、Sce）分散在各子行中。此时若直接对Name列调用df.drop_duplicates(subset='Name')，会错误地只保留该组的第一行，破坏原有分组结构；而若先填充Name再去重，则会因重复值存在而误删整个后续组。
正确思路是：将“组”视为一个整体单元，仅当某组的首行Name首次出现时才保留其全部关联行（含空Name的后续行），后续同名组的所有行均应被过滤。
以下是实现该逻辑的完整步骤：
✅ 步骤解析与代码实现
import pandas as pd
import numpy as np
# 构建原始数据（注意：原始数据中存在空字符串''和None混合）
d = {
'Name': ['M', None, None, 'T', 'R', 'G', 'M', '', ''],
'Mas': ['( (87)', '(91)', '(97) )', '(77)', '(60)', '(95)', '( (50)', '(50)', '(99) )'],
'Sce': ['83', '', '', '76', '32', '20', '89', '', '']
}
df = pd.DataFrame(d)
# Step 1：统一缺失标识 —— 将空字符串''和None统一转为NaN，便于后续逻辑处理
df["Name"] = df["Name"].replace("", np.nan).where(df["Name"].notna() | (df["Name"] != ""), np.nan)
# Step 2：构建组级去重掩码
# - 对非空Name标记是否为“首次出现”（duplicated(keep='first')返回False表示首次）
# - 利用ffill()将该布尔标记向下传播至整个组（即该组所有行共享同一True/False标记）
# - 取反(~)后，仅首次出现的组对应True，其余组全为False → 用于筛选
name_series = df["Name"].copy()
is_first_occurrence = ~name_series.duplicated(keep="first")
group_mask = (
pd.Series(
np.where(name_series.notna(), is_first_occurrence, np.nan),
index=df.index
)
.ffill() # 向下填充，使整组继承首行的True/False
.astype(bool) # 转为布尔型，NaN自动转为False（安全）
)
# Step 3：应用掩码，保留首个完整组
result = df[group_mask].reset_index(drop=True)
print(result)输出结果：
Name Mas Sce 0 M ( (87) 83 1 NaN (91) 2 NaN (97) ) 3 T (77) 76 4 R (60) 32 5 G (95) 20
⚠️ 关键注意事项
- 不要提前填充Name：df['Name'].ffill()虽能补全空值，但会掩盖原始组边界，导致后续无法区分“属于同一组”还是“独立新组”。
- NaN与空字符串需统一处理：Pandas中None、np.nan、空字符串''行为不一致，务必在逻辑前标准化为np.nan。
- .ffill().astype(bool)是核心技巧：它实现了“组内广播”，确保每组所有行共用首行的去重判定结果。
- 若需进一步清洗Mas/Sce字段（如提取括号内数字），建议在去重后再单独处理，避免干扰组结构判断。
该方法稳健适配任意长度的跨行组结构，是处理报表导出、OCR识别结果或老旧格式表格时的实用范式。
