Python数据清洗是围绕数据质量目标的系统性工作，需识别问题、定位源头、选工具、验结果；常见问题包括缺失值、重复记录、异常值、格式不统一、类型错误等，应分步结构化处理并确保可复现验证。
Python数据清洗不是一步到位的操作，而是围绕数据质量目标展开的系统性工作。核心在于识别问题、定位源头、选择合适工具、验证结果，而不是堆砌代码。
识别常见数据质量问题
实际数据中高频问题包括：缺失值（空字符串、NaN、None）、重复记录、异常值（明显偏离业务逻辑的数值）、格式不统一（日期写成“2023/01/01”“01-01-2023”“20230101”）、类型错误（数字字段存为字符串）、编码混乱（中文乱码）、列名含空格或特殊字符等。建议先用df.info()和df.describe(include='all')快速扫描整体结构与分布，再用df.isnull().sum()、df.duplicated().sum()等定位具体问题点。
缺失值处理要结合业务逻辑
不能一概而论用均值/众数填充。例如销售数据中某天缺失，可能是系统故障，此时用前后均值不如标记为“未知”；用户年龄字段缺失，若占比高且无补全渠道，删除该列可能比随意填充更合理。常用方法包括：
安全 Python 代码沙箱：在隔离的沙箱中执行任意 Python 代码，预装 requests、NumPy、pandas 库。返回 stdout、stderr。
- 删除：用dropna()移除整行或整列（注意设置how='any'或how='all'）
- 填充：用fillna()填常量、前向/后向值（method='ffill'）、分组统计值（如按地区填该地区平均收入）
- 标记：用df['col'].isnull().astype(int)生成缺失指示变量，保留原始信息
结构化清洗需分步操作
避免一次性链式调用过长。推荐按顺序处理：列名标准化 → 数据类型校正 → 缺失与重复处理 → 异常值识别 → 分类变量编码 → 时间特征提取。例如：
立即学习“Python免费学习笔记（深入）”；
- 列名清洗：df.columns = df.columns.str.strip().str.replace(' ', '_').str.lower()
- 日期转类型：pd.to_datetime(df['date'], errors='coerce')（errors='coerce'把无法解析的转为NaT）
- 数值类型修复：df['price'] = pd.to_numeric(df['price'], errors='coerce')
- 分类变量编码：对低基数类别用pd.get_dummies()，高基数可考虑目标编码或频数编码
清洗过程必须可复现、可验证
每次清洗操作后建议检查关键指标是否符合预期。例如去重后记录数减少多少、填充后某列标准差是否突变、转换日期后是否出现NaT。把清洗步骤封装成函数，输入原始DataFrame，输出清洗后DataFrame，并附带简要日志（如“移除127条重复记录”“将‘order_date’转为datetime，3个值转为NaT”）。这样后续迭代或交接时能快速定位问题，也方便用新数据验证流程鲁棒性。
