dropna(subset=[...]) 不删含 NaN 的行,因它仅识别 np.nan、None、NaT 为缺失值,不处理空字符串、字符串'NaN'或float('nan');需先 replace 转换或改用布尔索引。

为什么 dropna(subset=[...]) 不删含 NaN 的行?
因为 dropna 默认只对 subset 列中值为 NaN、None 或 NaT 的行生效,但它**不会把空字符串 ''、字符串 'NaN'、或 Python float('nan')(非 pandas 的 NaN)当作缺失值处理**。常见错误是误以为所有“看起来空”的值都会被过滤掉。
- 检查真实类型:
df['col'].apply(type).unique()看是否混入了字符串'NaN'或空格字符串' ' -
dropna对object类型列只识别None和np.nan,不识别'nan'、'NULL'等文本 - 若列里存的是字符串
'NaN',需先用replace({'NaN': np.nan})转成真正缺失值
想把 NaN 当普通值保留,但又想按其他条件过滤?
直接用布尔索引比 dropna 更可控——它不主动“解释” NaN,只是做等值/逻辑判断,NaN 参与比较时天然返回 False(如 df['x'] == 5 中,NaN 行结果就是 False),所以你得显式包含它。
- 保留 NaN 行 + 满足某条件的行:
df[(df['x'] > 10) | df['x'].isna()] - 排除某值但保留 NaN:
df[~((df['status'] == 'invalid') & df['status'].notna())](避免df['status'] != 'invalid'把 NaN 也干掉) - 注意:
df['x'].isin([1, 2, np.nan])不会匹配 NaN,必须拆成df['x'].isin([1, 2]) | df['x'].isna()
用 fillna() 前后,dropna(subset) 行为为啥变了?
填充值会改变列的数据类型和缺失标记状态。比如 fillna('MISSING') 后,原 float64 列变成 object,且不再有 np.nan,dropna(subset=['col']) 就完全失效。
- 填入标量(如
0、'')会让该列失去NaN,后续dropna无事可做 - 填入
pd.NA(pandas 1.0+)可保持缺失语义,但dropna仍只认np.nan/None/NaT,不认pd.NA(除非设inplace=True并用dropna(..., how='all')等更宽松模式) - 稳妥做法:需要保留“占位”又不干扰
dropna,用df.loc[df['col'].isna(), 'col'] = 'FILL'手动赋值,避免整列fillna
布尔过滤里 isna() 和 notna() 的坑
它们返回布尔 Series,但容易在链式操作中因运算符优先级出错,尤其和 &、| 混用时没加括号。
- 错误写法:
df[df.a > 5 & df.b.isna()]→ 因&优先级高于>,实际解析为df.a > (5 & df.b.isna()),报错或逻辑错 - 正确写法:
df[(df.a > 5) & df.b.isna()],所有布尔条件都必须括起来 -
isna()对object列能识别None和np.nan,但对字符串'None'或'null'无感,别指望它“智能识别”
dropna 里是“要删的对象”,在布尔索引里是“永远不等于任何东西的哑巴”,在 fillna 里又可能被悄悄替换掉。用哪条路,得先想清楚你到底想让 NaN “扮演什么角色”。

















