数据清洗是适配模型训练目标的系统性工程，需任务导向界定清洗边界、分层处理混合数据、代码化封装操作、留痕式抽检验证。
数据清洗不是“把脏数据删掉”那么简单，而是让数据真正适配模型训练目标的系统性工程。核心不在工具多炫，而在每一步都清楚“为什么这样洗”。
明确任务导向的清洗边界
同一份原始数据，在文本分类、NER、机器翻译任务中要清洗的内容完全不同。比如做情感分析时，表情符号和网络缩写（如“yyds”）可能携带强情感信号，应保留甚至标准化；但做法律文书摘要时，这些就得剔除或替换为中性表达。
- 先反向推导：模型最终要学什么模式？输入特征需要满足哪些统计/语义约束？
- 列出“必须保留”“必须删除”“必须转换”的三类字段或样本，不凭感觉，而依据标注规范和下游任务需求
- 对含噪声但信息密度高的样本（如带错别字的用户评论），优先考虑纠错而非丢弃
结构化+非结构化混合清洗流水线
真实项目中，数据常是表格字段+附件文本+日志片段的混合体。不能只用pandas或只跑正则——得按数据形态分层处理：
Knowledge Graph - Csv Graph Loader Generator
下载
从 CSV 数据集生成图数据库加载器和三元组映射。将表格 CSV 数据转换为图数据库可直接使用的节点、边和三元组。
- 结构化层（CSV/DB表）：用schema校验+空值策略+类型强制（如把“2024-01-01T12:30:00Z”统一转为datetime64，避免后续时间特征失效）
- 文本层（描述、评论、日志）：先做轻量预归一化（全角转半角、换行符标准化为\n），再针对任务加规则（如NER需保留原始空格位置，分类可合并多余空白）
- 交叉验证层：检查ID关联是否断裂（如用户表有id=1001，但行为日志里没有对应记录），这类问题单看任一层都发现不了
可复现的清洗操作封装
手动在notebook里点几次dropna、replace，看似快，但无法回溯、无法批量、无法交接。关键动作必须代码化、参数化、版本化：
- 每个清洗函数带明确副作用说明，例如clean_phone(text) → 返回标准化手机号，同时记录原格式异常率
- 用配置文件控制开关（如{"remove_email": true, "normalize_case": "lower"}），不同实验可快速切换清洗强度
- 每次清洗生成摘要报告：总样本数、各步骤过滤量、字段分布变化直方图（用seaborn保存为png嵌入日志）
留痕式采样与人工抽检机制
清洗效果不能只信指标。必须保留原始→清洗→增强的完整链路，并设计抽检闭环：
- 对清洗后数据随机抽0.5%，人工标注100条，计算与原始标注的一致率（尤其关注被修改/删除样本的误伤率）
- 建立“可疑样本池”：自动标记出长度突变、关键词消失、标签置信度骤降的样本，供领域专家复核
- 所有清洗操作日志写入独立文件，含时间戳、操作人（或脚本名）、输入哈希、输出哈希，支持任意版本回滚比对
基本上就这些。数据清洗不是前置准备步骤，它本身就是建模的一部分——洗得越懂业务、越贴任务、越留痕迹，后面调参、上线、迭代就越省力。
