drop_duplicates的subset参数填列名字符串或字符串列表，用于指定仅根据这些列的组合值判断重复，其余列不影响去重逻辑。
drop_duplicates的subset参数到底填什么
填列名字符串或字符串列表，不是索引、不是位置序号、不是正则。传入subset的本质是告诉 Pandas：“只看这几列的组合值是否重复”，其余列不影响去重逻辑。
常见错误：传subset=0（误当位置索引）、subset=['col1', 'col2']却拼错列名（触发KeyError: "['xxx'] not in index"）、或用subset='col1'但该列是数值型而实际想按字符串内容比——这些都会直接报错或结果异常。
- 单列去重：用
subset='col_name'或subset=['col_name']（二者等价） - 多列联合去重：必须用列表，如
subset=['user_id', 'event_time'] - 列名含空格或特殊字符？必须原样匹配，建议先用
df.columns.tolist()确认真实名称
keep参数和subset一起用时的行为细节
keep决定保留哪一行重复记录，默认'first'，但它只在subset定义的列组合相同时才生效。换句话说：两行在指定列上完全一致，才进入“留第一/留最后/全删”的判断；只要有一列不同，就根本不算重复。
容易被忽略的点：如果subset漏掉关键列（比如只选'email'却忽略'source'），可能导致本该区分的账号被合并；反之若多加一列（比如加了'updated_at'这个高精度时间戳），可能让所有行都“不重复”，导致去重失效。
图片提示词生成器？不止如此。 马甲系统 —— 把脑海中的画面，翻译成AI能理解的专业表达。 用得越多，它越懂你：首次需要多问几句确认方向，用久了几乎一说就懂。 用得越多，它越快：缓存机制让后续对话越来越省。 RAG进化：成功案例持续入库，越跑越聪明。 输入「新手指南」查看完整功能介绍
立即学习“Python免费学习笔记（深入）”；
-
keep='first'：保留每组重复中的第一行（按原始顺序） -
keep='last'：保留每组重复中的最后一行 -
keep=False：整组都删掉，不留任何一行 - 注意：
keep不改变原df顺序，只是筛选；如需排序后去重，先sort_values再drop_duplicates
处理缺失值（NaN）时subset的坑
Pandas 默认把 NaN 视为“彼此不相等”，所以subset=['col_a']中，两行都是NaN，不会被识别为重复——这是最常踩的隐性坑。
比如清洗用户表，用subset=['phone']去重，结果多个空手机号用户全被留下。这不是 bug，是设计行为。
- 想把 NaN 当作相同值处理？得先填充，例如
df['phone'].fillna('MISSING')再运行drop_duplicates - 或者用
subset配合df.drop_duplicates(subset=['col_a'], keep='first', ignore_index=True)，但ignore_index只是重置索引，不解决 NaN 比较问题 - 更稳妥的做法：显式过滤 + 分组，例如
df[~df.duplicated(subset=['col_a'], keep=False) | df['col_a'].notna()]——但这已超出subset本身能力范围
性能提示：subset列的数据类型和重复率影响很大
如果subset里有 object 类型列（尤其是长文本），Pandas 内部哈希开销会明显上升；而 datetime 或数值列则快得多。另外，重复率越高，drop_duplicates越快（因为早期就能剪枝）；低重复率+大数据量时，考虑是否真需要内存内去重，还是该下推到数据库或用dask。
- 提速技巧：对高频去重列提前转成 category 类型，如
df['status'] = df['status'].astype('category') - 避免临时列干扰：不要在
subset里混入刚用apply生成的列，除非确认过其 dtype 和唯一性 - 调试时加
print(df.duplicated(subset=['x','y']).sum())，先看重复数再执行删除
subset写对没，得同步检查那几列的缺失值表现、数据类型、以及业务上“重复”的定义是否真能被这几列准确刻画。 
