数据清洗不是简单删掉重复行,还要处理空值、格式不一致和近似拼写。excel power query 适合在熟悉的中文表格环境中记录清洗步骤;openrefine 擅长用分面和聚类发现近似值;wps 表格适合做简单去重和基础整理。数据越复杂,越应该保留可重复执行的步骤。
Excel Power Query:清洗步骤可以重复刷新
Power Query 能删除重复项、拆分列、替换值、合并查询并记录每一步。源文件更新后可以重新刷新,不必再次手工整理。
它更适合结构化表格。规则过多时要给步骤命名,并在加载前检查数据类型,否则日期和数字可能被错误转换。

OpenRefine:近似值聚类是强项
OpenRefine 会通过分面和聚类找出大小写、空格、拼写近似等差异,再由用户决定是否合并。清洗机构名、地区名和分类字段时,比只按完全相同去重更有效。
它的界面以英文为主,且聚类结果仍需人工判断。涉及敏感数据时应只在本机运行,不要把项目文件上传到不可信服务。

简单去重与复杂清洗这样选
已有 Excel 且需要可刷新流程,选 Power Query;字段值杂乱、需要模糊聚类,选 OpenRefine;只有少量表格和完全重复行,WPS 表格即可。
清洗前保留原始数据,只把规则应用到副本或查询结果。完成后核对行数变化、空值比例和被合并的代表值。


















