讲师中心 微信公众号
AI工具推荐 视频效率加速

SQL中如何使用GROUP BY进行数据清洗?

风晨吖_2847

风晨吖_2847

发布时间:2026-07-22 12:55:10

|

438人浏览过

|

来源于php中文网

原创

GROUP BY 本身不清洗数据但能暴露脏数据,需结合 COUNT(*) 查重复、MIN/MAX 检字段不一致、CASE WHEN + HAVING 识异常分布,并通过子查询或 JOIN 实现清洗操作。

sql中如何使用group by进行数据清洗?

GROUP BY 本身不清洗数据,但它能暴露脏数据、辅助清洗决策——关键在于你用它查什么、怎么分组、是否结合 HAVING 或子查询。

GROUP BY 配合 COUNT(*) 找重复记录

这是最直接的清洗入口:重复行往往意味着主键缺失、ETL 错误或业务逻辑异常。单纯 DISTINCT 会掩盖细节,而 GROUP BY + COUNT(*) 能告诉你“哪里重复、重复几次、哪些字段组合不稳定”。

  • 查出所有重复的 order_id(假设它该唯一):
    SELECT order_id, COUNT(*) AS cnt FROM orders GROUP BY order_id HAVING COUNT(*) > 1;
  • 查出哪些 (user_id, product_id, order_date) 组合出现多次(可能是下单重试未去重):
    SELECT user_id, product_id, order_date, COUNT(*) AS cnt FROM orders GROUP BY user_id, product_id, order_date HAVING COUNT(*) > 1;
  • 注意:如果 order_date 是 DATETIME 类型,秒级精度可能导致看似重复实为不同时间点,此时应考虑按日期截断:DATE(order_date)。

GROUP BY + MIN/MAX 检测字段值不一致

当某字段在逻辑上应与分组键函数依赖(比如一个 user_id 对应唯一 region),但实际数据不满足时,MIN() 和 MAX() 的差异就是脏数据信号。

  • 检查 user_id 是否真对应唯一 region:
    SELECT user_id, MIN(region) AS min_r, MAX(region) AS max_r FROM users GROUP BY user_id HAVING MIN(region) != MAX(region);
    只要结果非空,就说明这个 user_id 在多条记录里存了不同 region,必须清洗。
  • 同理可查 email、phone、status 等本该稳定的字段。
  • 别用 AVG() 或 SUM() 测字符串一致性——它们会隐式转换或报错;MIN()/MAX() 是安全且语义清晰的选择。

GROUP BY + CASE WHEN + HAVING 定位异常分布

清洗不只是去重和纠错,还包括识别不符合业务常识的分布模式。这时要把业务规则“翻译”成分组条件。

  • 查出订单金额异常集中的用户(比如单个用户占全站 30% 以上销售额):
    SELECT user_id, SUM(amount) AS total FROM orders GROUP BY user_id HAVING SUM(amount) > (SELECT 0.3 * SUM(amount) FROM orders);
  • 查出“同一地址出现过多不同姓名”的记录(可能是代下单或爬虫):
    SELECT address, COUNT(DISTINCT name) AS name_cnt FROM orders GROUP BY address HAVING COUNT(DISTINCT name) > 5;
  • 注意:这类查询常需嵌套或 CTE,避免在 HAVING 中直接引用外部聚合结果(部分数据库不支持),优先用子查询或窗口函数预计算全局基准值。

GROUP BY 后不能直接 UPDATE,必须用子查询或 JOIN

很多人想当然写 UPDATE ... GROUP BY,这是语法错误。SQL 标准中 UPDATE 不支持 GROUP BY 子句,清洗动作必须拆解。

  • 错误写法:
    UPDATE users SET region = '未知' WHERE user_id IN (SELECT user_id FROM users GROUP BY user_id HAVING MIN(region) != MAX(region));
    (虽然某些 MySQL 版本能跑,但语义模糊、不可靠)
  • 正确做法是先用 GROUP BY 识别问题键,再通过 JOIN 或 IN 关联原表更新:
    UPDATE users u JOIN (SELECT user_id FROM users GROUP BY user_id HAVING MIN(region) != MAX(region)) bad ON u.user_id = bad.user_id SET u.region = '待核实';
  • 更安全的方式是把清洗逻辑写进临时表或 CTE,确认无误后再执行 UPDATE 或 DELETE。

真正难的不是写出 GROUP BY 语句,而是判断哪个字段组合能暴露你想清洗的问题——这取决于你对业务主键、函数依赖、数据生命周期的理解。一旦分组键选错,后面全是假阳性。

热门AI工具

更多
LibLibAI
LibLibAI Hot

一款AI视频创作工具,主要用于国内领先的AI创意平台,以海量模型、低门槛操作与“创作-分享-商业化”生态,让小白与专业创作者都能高效实现图文乃至视频创意表达,适合需要提升相关任务效率的用户。

讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

火山引擎

火山引擎是一款面向企业的云计算与AI服务平台。

Seko
Seko Hot

一款AI视频创作工具,主要用于商汤科技推出的创编一体的AI短视频创作Agent,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

超级简历WonderCV

一款AI办公效率工具,主要用于免费求职简历模版下载制作,应届生职场人必备简历制作神器,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

相关专题

更多
数据分析工具有哪些
数据分析工具有哪些

数据分析工具有Excel、SQL、Python、R、Tableau、Power BI、SAS、SPSS和MATLAB等。详细介绍:1、Excel,具有强大的计算和数据处理功能;2、SQL,可以进行数据查询、过滤、排序、聚合等操作;3、Python,拥有丰富的数据分析库;4、R,拥有丰富的统计分析库和图形库;5、Tableau,提供了直观易用的用户界面等等。

3843

2023.10.12

SQL中distinct的用法
SQL中distinct的用法

SQL中distinct的语法是“SELECT DISTINCT column1, column2,...,FROM table_name;”。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

831

2023.10.27

SQL中months_between使用方法
SQL中months_between使用方法

在SQL中,MONTHS_BETWEEN 是一个常见的函数,用于计算两个日期之间的月份差。想了解更多SQL的相关内容,可以阅读本专题下面的文章。

1009

2024.02.23

SQL出现5120错误解决方法
SQL出现5120错误解决方法

SQL Server错误5120是由于没有足够的权限来访问或操作指定的数据库或文件引起的。想了解更多sql错误的相关内容,可以阅读本专题下面的文章。

5661

2024.03.06

sql procedure语法错误解决方法
sql procedure语法错误解决方法

sql procedure语法错误解决办法:1、仔细检查错误消息;2、检查语法规则;3、检查括号和引号;4、检查变量和参数;5、检查关键字和函数;6、逐步调试;7、参考文档和示例。想了解更多语法错误的相关内容,可以阅读本专题下面的文章。

2623

2024.03.06

oracle数据库运行sql方法
oracle数据库运行sql方法

运行sql步骤包括:打开sql plus工具并连接到数据库。在提示符下输入sql语句。按enter键运行该语句。查看结果,错误消息或退出sql plus。想了解更多oracle数据库的相关内容,可以阅读本专题下面的文章。

5660

2024.04.07

sql中where的含义
sql中where的含义

sql中where子句用于从表中过滤数据,它基于指定条件选择特定的行。想了解更多where的相关内容,可以阅读本专题下面的文章。

7441

2024.04.29

sql中删除表的语句是什么
sql中删除表的语句是什么

sql中用于删除表的语句是drop table。语法为drop table table_name;该语句将永久删除指定表的表和数据。想了解更多sql的相关内容,可以阅读本专题下面的文章。

1010

2024.04.29

PixTV AI视频生成与无限画布创作
PixTV AI视频生成与无限画布创作

PixTV专题整理AI视频与视觉内容创作相关功能使用教程,涵盖AI生图、视频生成、无限画布、多模型创作、素材管理、声音音乐及视频剪辑等功能,帮助用户快速掌握PixTV从创意到成片的完整制作方法。

0

2026.09.29

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
FastAPI SQL数据库实战文档
FastAPI SQL数据库实战文档

共0课时 | 0人学习

Java JDBC数据库连接官方教程
Java JDBC数据库连接官方教程

共0课时 | 0人学习

PostgreSQL vs MySQL
PostgreSQL vs MySQL

共1课时 | 176人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn