本文介绍如何在 Pandas DataFrame 中识别并仅保留连续重复块中首次出现的完整块（即“尾部重复组”被整体剔除，仅留其前所有行），适用于按业务逻辑需截断末尾冗余数据的场景。
本文介绍如何在 pandas dataframe 中识别并仅保留**连续重复块中首次出现的完整块**（即“尾部重复组”被整体剔除，仅留其前所有行），适用于按业务逻辑需截断末尾冗余数据的场景。
在实际数据分析中，常遇到一种特殊去重需求：数据按时间或顺序追加，末尾可能连续出现多条语义重复（忽略唯一标识列如 id）的记录，而我们希望保留全部非尾部重复行，仅剔除最后一批完全重复的连续行块——这与 drop_duplicates(keep='first') 或 keep='last' 的全局去重逻辑有本质区别。
例如，给定如下 DataFrame（id 为唯一序号，name+age 为业务主键）：
import pandas as pd
df = pd.DataFrame({
'id': [1,2,3,4,5,6,7,8,9,10],
'name': ['mary','mary','mary','tom','tom','john','sarah','tom','tom','tom'],
'age': [30,30,30,25,25,28,36,25,25,25]
})目标是：识别出末尾连续重复的 (name, age) = ('tom', 25) 块（第7–9行，对应原始索引7–9），并将其整块移除，保留前面所有行（包括更早出现的 'tom' 块），最终得到前8行。
✅ 核心思路：基于连续分组的尾部截断
关键在于区分「全局重复」和「连续重复块」。我们不关心 'tom' 是否之前出现过，只关注末尾是否形成一个独立、连续、且无间断的重复段。实现步骤如下：
- 定义业务去重列（排除 id 等唯一列）；
- 标记连续变化点：使用 df[cols].ne(df[cols].shift()) 找出每行与上一行是否不同；
- 生成连续组编号：对变化点累加求和（.cumsum()），使每个连续相同块获得唯一组号；
- 识别尾部重复组：获取最大组号，筛选出组号不等于最大值的所有行（即排除最后一组）。
cols = ['name', 'age'] # 业务维度列，不含 id grp = df[cols].ne(df[cols].shift()).any(axis=1).cumsum() # 连续分组编号 out = df[grp.shift().ne(grp.max())] # 保留所有非最后一组的行
? grp.shift().ne(grp.max()) 是关键：它等价于 grp != grp.max()，但使用 shift() 可避免首行因 NaN 导致误判（实际中 grp.max() 是标量，直接比较亦可；此处写法更稳健，见下文说明）。
运行结果：
id name age 0 1 mary 30 1 2 mary 30 2 3 mary 30 3 4 tom 25 4 5 tom 25 5 6 john 28 6 7 sarah 36 7 8 tom 25
✅ 完美匹配预期：末尾连续三行 (tom, 25) 被整体移除，而前两行 (tom, 25) 和孤立的 (john, 28)、(sarah, 36) 全部保留。
⚠️ 注意事项与最佳实践
grp.shift().ne(grp.max()) vs grp != grp.max()：
两者在多数情况下等效，但若首行即属最大组（如全表只有一组），grp != grp.max() 会错误排除首行；而 grp.shift().ne(grp.max()) 因 shift() 引入 NaN，NaN != X 恒为 True，故首行必保留，逻辑更鲁棒。性能提示：该方案为向量化操作，时间复杂度 O(n)，远优于循环或 groupby.apply，适合百万级数据。
扩展性：可轻松适配多列组合、自定义重复逻辑（如允许 age 误差±1），只需修改 cols 或前置预处理。
-
验证分组逻辑（调试用）：
print(pd.concat([df, grp.rename('group')], axis=1))输出将清晰展示每行所属连续组，便于排查边界情况。
掌握此技巧，你便能精准控制 DataFrame 的“逻辑尾部截断”，在日志分析、时序数据清洗、ETL 流水线等场景中大幅提升数据质量与处理效率。
