讲师中心 微信公众号
AI工具推荐 视频效率加速

SQL如何通过子查询实现数据的去重查询_嵌套GROUP BY技巧

落瑶酱_7271

落瑶酱_7271

发布时间:2026-04-12 11:18:04

|

326人浏览过

|

来源于php中文网

原创

子查询中GROUP BY未去重,主因是分组字段未对齐业务语义或缺失索引;应先验证分组唯一性,优先用窗口函数ROW_NUMBER()精准取每组最新记录。

sql如何通过子查询实现数据的去重查询_嵌套group by技巧

子查询里 GROUP BY 没去重?先看它是否真收敛到唯一键

嵌套子查询中用 GROUP BY,外层结果仍重复,大概率是子查询本身没产出唯一行。比如写成:SELECT * FROM users WHERE id IN (SELECT user_id FROM orders GROUP BY user_id),看似按 user_id 分组了,但如果 orders 表里有脏数据(同一 user_id 多次出现但未被真正聚合),或 GROUP BY 字段漏了关键约束(如该加 status 却没加),子查询就可能返回多个相同 user_id,外层 IN 一匹配就炸出重复。

检查方法很简单:把子查询单独执行一遍,SELECT user_id, COUNT(*) FROM orders GROUP BY user_id,看有没有 user_id 对应多于 1 行——如果有,说明分组逻辑没对齐业务语义。

  • 确保 GROUP BY 字段和你要关联的外键完全一致(比如外层 JOIN 用 user_id,子查询就只 GROUP BY user_id,别多加无关字段)
  • 子查询结尾硬加 DISTINCT 是临时补丁,掩盖了分组设计缺陷
  • 用 EXPLAIN 看子查询是否命中索引;没走索引时,GROUP BY 可能因临时表大小限制截断结果,导致“看似去重实则丢数据”

GROUP BY 后 SELECT * 会报错?严格模式下必须守规则

MySQL 5.7+ 或开启严格模式后,SELECT * 跟在 GROUP BY 后面直接报错:SQLSTATE[42000]: Syntax error or access violation。这不是语法错误,而是规则强制:所有非分组字段必须套聚合函数,或出现在 GROUP BY 列表里。

典型翻车现场:SELECT user_id, order_no, created_at FROM orders GROUP BY user_id —— order_no 和 created_at 既没聚合也没分组,MySQL 直接拒绝执行。

  • 想取每组最新一条完整记录,别硬写 MAX(order_no), MAX(created_at),它们未必来自同一行
  • 正确做法是先用窗口函数编号(如 ROW_NUMBER() OVER (PARTITION BY user_id ORDER BY created_at DESC)),再在外层筛 rn = 1
  • 若数据库不支持窗口函数(如 MySQL 5.7),改用相关子查询:SELECT * FROM orders o1 WHERE created_at = (SELECT MAX(created_at) FROM orders o2 WHERE o2.user_id = o1.user_id),但要注意并列时间问题

嵌套子查询 + GROUP BY 的性能陷阱

子查询里用 GROUP BY 再被外层多次引用,很容易触发全表扫描或临时表膨胀。尤其当子查询结果集大、又没索引支撑时,性能断崖式下跌。

比如:SELECT u.name, t.total FROM users u JOIN (SELECT user_id, SUM(amount) total FROM orders GROUP BY user_id) t ON u.id = t.user_id,如果 orders.user_id 没索引,GROUP BY 就得建大临时表,JOIN 阶段再逐行匹配,I/O 开销翻倍。

  • 给 GROUP BY 字段建联合索引(如 (user_id, amount)),能跳过排序阶段,直接利用索引顺序分组
  • 大数据量下,优先用 EXISTS 替代 IN 或 JOIN 子查询,例如查“有订单的用户”:SELECT * FROM users u WHERE EXISTS (SELECT 1 FROM orders o WHERE o.user_id = u.id) 通常更快
  • 避免在子查询里 SELECT * 后再外层筛选字段;只选真正需要的列,减少内存和网络传输压力

MySQL 8.0+ 窗口函数才是嵌套去重的正解

别再靠多层 GROUP BY 嵌套硬凑“最新一条记录”。ROW_NUMBER() 在子查询内完成编号,外层只筛 rn = 1,逻辑干净、行为可预测。

标准写法:SELECT * FROM (SELECT *, ROW_NUMBER() OVER (PARTITION BY user_id ORDER BY created_at DESC) AS rn FROM orders) t WHERE t.rn = 1。这里 PARTITION BY 定义分组粒度,ORDER BY 决定留哪条——漏掉任一都可能全表只编一个号,或留错记录。

  • PARTITION BY 必须覆盖你要去重的维度(如按用户去重就写 user_id,按用户+状态去重就得写 user_id, status)
  • ORDER BY 用 DESC 才能取最新;用 ASC 却以为能拿最新,是新手高频错误
  • MySQL 8.0 默认支持,但某些云 RDS(如阿里云 PolarDB)可能默认关闭窗口函数,需确认 sql_mode 不含 ONLY_FULL_GROUP_BY 干扰,或显式启用

真正难的不是写出来,是想清楚“去重”背后的真实业务规则——是留时间最新的?ID 最小的?还是金额最高的?一旦规则模糊,任何 GROUP BY 或窗口函数都会给你一个看似合理、实则错配的结果。

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

PixTV
PixTV Hot

PixTV是一款面向AIGC内容创作的AI视频生成工具。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

相关专题

更多
数据分析工具有哪些
数据分析工具有哪些

数据分析工具有Excel、SQL、Python、R、Tableau、Power BI、SAS、SPSS和MATLAB等。详细介绍:1、Excel,具有强大的计算和数据处理功能;2、SQL,可以进行数据查询、过滤、排序、聚合等操作;3、Python,拥有丰富的数据分析库;4、R,拥有丰富的统计分析库和图形库;5、Tableau,提供了直观易用的用户界面等等。

4363

2023.10.12

SQL中distinct的用法
SQL中distinct的用法

SQL中distinct的语法是“SELECT DISTINCT column1, column2,...,FROM table_name;”。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

911

2023.10.27

SQL中months_between使用方法
SQL中months_between使用方法

在SQL中,MONTHS_BETWEEN 是一个常见的函数,用于计算两个日期之间的月份差。想了解更多SQL的相关内容,可以阅读本专题下面的文章。

1129

2024.02.23

SQL出现5120错误解决方法
SQL出现5120错误解决方法

SQL Server错误5120是由于没有足够的权限来访问或操作指定的数据库或文件引起的。想了解更多sql错误的相关内容,可以阅读本专题下面的文章。

6281

2024.03.06

sql procedure语法错误解决方法
sql procedure语法错误解决方法

sql procedure语法错误解决办法:1、仔细检查错误消息;2、检查语法规则;3、检查括号和引号;4、检查变量和参数;5、检查关键字和函数;6、逐步调试;7、参考文档和示例。想了解更多语法错误的相关内容,可以阅读本专题下面的文章。

3103

2024.03.06

oracle数据库运行sql方法
oracle数据库运行sql方法

运行sql步骤包括:打开sql plus工具并连接到数据库。在提示符下输入sql语句。按enter键运行该语句。查看结果,错误消息或退出sql plus。想了解更多oracle数据库的相关内容,可以阅读本专题下面的文章。

6260

2024.04.07

sql中where的含义
sql中where的含义

sql中where子句用于从表中过滤数据,它基于指定条件选择特定的行。想了解更多where的相关内容,可以阅读本专题下面的文章。

8481

2024.04.29

sql中删除表的语句是什么
sql中删除表的语句是什么

sql中用于删除表的语句是drop table。语法为drop table table_name;该语句将永久删除指定表的表和数据。想了解更多sql的相关内容,可以阅读本专题下面的文章。

1150

2024.04.29

OpenJDK JVM参数怎么调优
OpenJDK JVM参数怎么调优

Java应用运行缓慢,如何调整JVM参数?本专题介绍OpenJDK JVM性能调优的基本流程,涵盖性能指标确认、运行数据采集、内存配置和垃圾回收分析,帮助你先定位瓶颈,再通过对照测试验证效果,避免直接套用参数而影响应用稳定性。

60

2026.10.16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn