讲师中心 微信公众号
AI工具推荐 视频效率加速

如何用SQL查询重复数据及重复次数

云晨姑娘_5630

云晨姑娘_5630

发布时间:2026-07-31 13:36:23

|

647人浏览过

|

来源于php中文网

原创

查重复数据必须用 GROUP BY + HAVING;因重复是跨行比较结果,需先按字段分组再统计行数,用 HAVING 筛选 COUNT(*) > 1 的组,WHERE 中不可用聚合函数。

如何用sql查询重复数据及重复次数

查重复数据必须用 GROUP BY + HAVING

直接 SELECT * 加 WHERE 无法判断“重复”,因为重复是跨行比较的结果。SQL 中识别重复的唯一可靠路径是:按待检测字段分组,再统计每组行数,最后筛选出数量大于 1 的组。

常见错误是试图用 WHERE COUNT(*) > 1 —— 这会报错,因为 COUNT() 是聚合函数,不能出现在未分组的 WHERE 子句里。

  • 必须先写 GROUP BY 字段名(可以是单列,也可以是多列,如 GROUP BY user_id, status)
  • 过滤重复组要用 HAVING COUNT(*) > 1,不是 WHERE
  • 如果还想看原始记录,得用子查询或窗口函数,不能只靠 GROUP BY 返回明细行

查重复值及次数的标准写法

最常用、兼容性最好的写法是返回重复的字段组合及其出现次数:

SELECT name, email, COUNT(*) AS cnt
FROM users
GROUP BY name, email
HAVING COUNT(*) > 1;

注意点:

  • COUNT(*) 比 COUNT(字段) 更稳妥,后者会忽略该字段为 NULL 的行,可能导致漏判
  • 如果想查所有字段都相同的重复行,GROUP BY 后要列出所有字段(但表字段多时很麻烦,此时建议改用窗口函数)
  • MySQL 5.7+ 默认开启 ONLY_FULL_GROUP_BY,所以 SELECT * + GROUP BY id 会报错,别硬套旧写法

要返回全部重复记录(不止分组摘要)

当需要看到每一条重复的原始数据(比如删掉其中几条),就得把重复组“展开”。推荐用窗口函数 COUNT() OVER,它不改变行数:

SELECT id, name, email,
       COUNT(*) OVER (PARTITION BY name, email) AS cnt
FROM users
WHERE COUNT(*) OVER (PARTITION BY name, email) > 1;

但注意:上面写法在 MySQL 8.0+、PostgreSQL、SQL Server 2012+ 支持;SQLite 和旧版 MySQL 不支持窗口函数,得用自连接:

  • 自连接方案性能差、语法绕:对 users a 和 users b 做 JOIN,条件是关键字段相等且 a.id != b.id
  • 容易误删——比如三行完全相同,自连接会产生 6 行结果,需配合 DISTINCT 或 ROW_NUMBER()
  • 窗口函数方案更直观,也更容易加 ORDER BY 或后续处理

去重前务必确认业务语义和 NULL 处理

重复判定看似简单,实际最容易翻车的是 NULL:SQL 中 NULL = NULL 为 FALSE,所以默认的 GROUP BY 会把所有 NULL 值归为一组——这有时符合预期,有时不是。

  • 如果字段允许 NULL 且你认为 NULL 不代表相同含义(例如 email 为空 ≠ 邮箱相同),得提前用 COALESCE(email, '') 统一转换
  • 大小写敏感性取决于字段 collation,'Alice' 和 'alice' 在 utf8mb4_0900_as_cs 下算不同值,在 _ci 结尾的排序规则下算相同
  • 字符串末尾空格是否忽略,也由 collation 决定,不是所有数据库都像 MySQL 那样自动 trim

真正难的从来不是写出语句,而是搞清“什么才算重复”——这个定义必须来自业务,而不是数据库默认行为。

相关文章

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
Seko
Seko Hot

一款AI视频创作工具,主要用于商汤科技推出的创编一体的AI短视频创作Agent,适合需要提升相关任务效率的用户。

二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

PixTV
PixTV Hot

PixTV是一款面向AIGC内容创作的AI视频生成工具。

相关专题

更多
数据分析工具有哪些
数据分析工具有哪些

数据分析工具有Excel、SQL、Python、R、Tableau、Power BI、SAS、SPSS和MATLAB等。详细介绍:1、Excel,具有强大的计算和数据处理功能;2、SQL,可以进行数据查询、过滤、排序、聚合等操作;3、Python,拥有丰富的数据分析库;4、R,拥有丰富的统计分析库和图形库;5、Tableau,提供了直观易用的用户界面等等。

4323

2023.10.12

SQL中distinct的用法
SQL中distinct的用法

SQL中distinct的语法是“SELECT DISTINCT column1, column2,...,FROM table_name;”。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

911

2023.10.27

SQL中months_between使用方法
SQL中months_between使用方法

在SQL中,MONTHS_BETWEEN 是一个常见的函数,用于计算两个日期之间的月份差。想了解更多SQL的相关内容,可以阅读本专题下面的文章。

1129

2024.02.23

SQL出现5120错误解决方法
SQL出现5120错误解决方法

SQL Server错误5120是由于没有足够的权限来访问或操作指定的数据库或文件引起的。想了解更多sql错误的相关内容,可以阅读本专题下面的文章。

6241

2024.03.06

sql procedure语法错误解决方法
sql procedure语法错误解决方法

sql procedure语法错误解决办法:1、仔细检查错误消息;2、检查语法规则;3、检查括号和引号;4、检查变量和参数;5、检查关键字和函数;6、逐步调试;7、参考文档和示例。想了解更多语法错误的相关内容,可以阅读本专题下面的文章。

3083

2024.03.06

oracle数据库运行sql方法
oracle数据库运行sql方法

运行sql步骤包括:打开sql plus工具并连接到数据库。在提示符下输入sql语句。按enter键运行该语句。查看结果,错误消息或退出sql plus。想了解更多oracle数据库的相关内容,可以阅读本专题下面的文章。

6220

2024.04.07

sql中where的含义
sql中where的含义

sql中where子句用于从表中过滤数据,它基于指定条件选择特定的行。想了解更多where的相关内容,可以阅读本专题下面的文章。

8421

2024.04.29

sql中删除表的语句是什么
sql中删除表的语句是什么

sql中用于删除表的语句是drop table。语法为drop table table_name;该语句将永久删除指定表的表和数据。想了解更多sql的相关内容,可以阅读本专题下面的文章。

1150

2024.04.29

OpenJDK JVM参数怎么调优
OpenJDK JVM参数怎么调优

Java应用运行缓慢,如何调整JVM参数?本专题介绍OpenJDK JVM性能调优的基本流程,涵盖性能指标确认、运行数据采集、内存配置和垃圾回收分析,帮助你先定位瓶颈,再通过对照测试验证效果,避免直接套用参数而影响应用稳定性。

20

2026.10.16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL vs MySQL
PostgreSQL vs MySQL

共1课时 | 187人学习

PostgreSQL vs MySQL
PostgreSQL vs MySQL

共1课时 | 187人学习

MySQL索引优化解决方案
MySQL索引优化解决方案

共23课时 | 2.8万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn