drop_duplicates默认保留第一次出现的行，按数据遍历顺序判断重复，遇已见组合即跳过；要保留每组某列最大值需先sort_values再drop_duplicates；keep=False则删除所有重复行。
drop_duplicates 默认保留哪一行？
drop_duplicates 默认保留**第一次出现的行**，丢弃后续重复项。这不是靠索引顺序“猜”的，而是按 df.iterrows() 的遍历顺序逐行比对，遇到已见过的组合就跳过。所以结果稳定，但前提是你的数据加载顺序本身是确定的（比如 CSV 没被随机打乱、没用 sample() 预处理）。
常见误解是以为它保留“最后一行”或“最大 ID 行”——不是。要保留最后出现的，必须显式设 keep='last'；要按某列逻辑选行（比如保留 price 最高的），drop_duplicates 本身做不到，得配合 sort_values 或 groupby。
如何保留每组中某列值最大的那行？
这是最常被误用的场景：drop_duplicates 只能按“完全重复的整行”或“指定列组合重复”去重，不能直接做“每组取 top 1”。正确做法是先排序再去重：
例如，按 user_id 分组，每组只留 score 最高的一条：
立即学习“Python免费学习笔记（深入）”；
df_sorted = df.sort_values('score', ascending=False)
result = df_sorted.drop_duplicates(subset=['user_id'], keep='first')
关键点：
-
keep='first'在已降序排序后，等价于“保留每组最高分” - 必须用
subset=['user_id']明确去重依据，否则会对比整行 - 如果
score有 NaN，sort_values默认把 NaN 放最后（na_position='last'），会影响结果；需确认是否要排除 NaN 行 - 若需保留原始索引，排序前可加
ignore_index=False，但注意drop_duplicates不会自动恢复原索引顺序
keep=False 是什么？什么时候用？
keep=False 表示：**所有重复行全部丢弃，一个不留**。比如某 id 出现了 3 次，那这 3 行全被删掉。
适用场景极少，典型的是清洗“疑似脏数据”：你认定“只要出现重复，就说明录入错误，整组都不可信”。例如日志中同一设备在毫秒级时间戳内上报了完全相同的事件，大概率是重发 bug，需要彻底剔除。
注意：keep=False 对空值（NaN）的处理很特殊——NaN 之间不被视为相等，所以含 NaN 的行不会因 NaN 列被判定为重复。如需把 NaN 当作相同值处理，得先用 fillna() 替换。
subset 参数漏写或写错列名会怎样？
漏写 subset 相当于 subset=df.columns.tolist()，即整行完全一致才算重复。很多用户本意是“按 user_id 去重”，却忘了写 subset=['user_id']，结果发现一行都没删——因为其他列（比如时间戳、UUID）天然不同。
写错列名会直接报错：KeyError: 'user_id'。但更隐蔽的坑是列名看起来对、实际有空格或大小写差异，比如真实列名是 'User_ID '（末尾有空格）。建议操作前先检查：print(df.columns.tolist())，而不是凭记忆写。
另外，subset 支持多列，如 subset=['user_id', 'date'] 表示“同用户同日期才算重复”。此时要注意时区、格式统一性——字符串 '2024-01-01' 和 datetime.date(2024, 1, 1) 虽语义相同，但类型不同，不会被识别为重复。
真正麻烦的从来不是语法，而是搞清“重复”的业务定义：是整行不能一样？还是关键字段组合不能一样？是否要优先保留最新/最高/最完整的数据？这些决定了你得用 sort_values + drop_duplicates，还是该转向 groupby().apply() 或 idxmax()。
