
本文介绍如何识别和标准化数据集中以字符串"?"等非NaN形式表示的缺失值,通过replace()将其统一转换为pd.NA,从而确保isnull()、dropna()、fillna()等所有Pandas缺失值操作能正确识别和处理。
本文介绍如何识别和标准化数据集中以字符串"?"等非nan形式表示的缺失值,通过replace()将其统一转换为pd.na,从而确保isnull()、dropna()、fillna()等所有pandas缺失值操作能正确识别和处理。
在真实数据分析场景中,缺失值 rarely appear as clean np.nan 或 pd.NA——更常见的是用占位符表示,例如字符串 "?"、空字符串 ""、特殊数值 -999、"N/A"、"NULL",甚至全大写的 "MISSING"。若不提前处理,这些值会被Pandas视为有效数据,导致 df.isnull().sum() 返回全0,df.dropna() 无法删除,df.mean() 计算失真,严重干扰后续建模与统计分析。
正确的做法是:在数据加载后、探索性分析前,主动将业务定义的缺失标识统一替换为Pandas原生缺失标记 pd.NA(推荐)或 np.nan(兼容旧版本)。pd.NA 是Pandas 1.0+ 引入的三态缺失值(支持字符串、数值、布尔等混合类型),语义更清晰且行为更一致。
以下是一个完整示例:
import pandas as pd
import numpy as np
# 模拟含非标准缺失值的数据
data = {
"age": [25, "?", 34, ""],
"salary": ["50000", "N/A", "72000", "65000"],
"department": ["IT", "HR", "?", "Finance"]
}
df = pd.DataFrame(data)
# ❌ 错误:直接检查,无法识别 "?" 或 "" 等
print("原始 isnull() 结果:")
print(df.isnull().sum())
# age 0
# salary 0
# department 0
# ✅ 正确:先替换,再检查
# 将多种缺失标识统一映射为 pd.NA
df_clean = df.replace({
"?": pd.NA,
"": pd.NA,
"N/A": pd.NA,
"NULL": pd.NA,
"missing": pd.NA,
"Missing": pd.NA
})
print("\n替换后 isnull() 结果:")
print(df_clean.isnull().sum())
# age 2 # "?" 和 "" 均被识别
# salary 1 # "N/A" 被识别
# department 1 # "?" 被识别
# 后续所有缺失值操作均可正常工作
print("\n删除含缺失行后的形状:", df_clean.dropna().shape) # (2, 3)
print("age 列均值(自动跳过 NA):", df_clean["age"].astype("Int64").mean()) # 29.5(需转为可空整型)⚠️ 关键注意事项:
- 使用
replace()时建议传入字典而非单个值(如df.replace("?", pd.NA)),便于一次性处理多种缺失模式; - 对于数值列,替换后建议显式转换为可空类型(如
astype("Int64")、astype("string")),避免隐式转为float64引入nan; - 若需保留原始数据,应在清洗前备份:
df_original = df.copy(); - 加载CSV时也可一步处理:
pd.read_csv("data.csv", na_values=["?", "", "N/A", "NULL"]),但该参数仅对数值列生效,字符串列仍需后续replace()。
总之,将非标准缺失值“标准化”为 pd.NA 是构建健壮数据管道的第一步——它不是锦上添花,而是确保所有Pandas缺失值语义一致、逻辑可靠的基石。

















