讲师中心 微信公众号

工具推荐

视频效率加速
updream

一键生成高质量推广成片

SoundView
SoundView

字幕擦除翻译、配音口型同步

立刻MV
立刻MV

低成本歌曲 MV、视频生成

Seko
Seko

AI短剧一键生成成片

SQL中如何利用聚合函数检测数据表中的业务重复键

酷婷酱_6344

酷婷酱_6344

发布时间:2026-11-20 12:04:20

|

357人浏览过

|

来源于php中文网

原创

GROUP BY + HAVING COUNT() > 1 是最直接的业务重复键检测方式;需用完整业务唯一键显式分组,COUNT() 不可替换为 COUNT(col),NULL 默认正确归组但须确认业务语义,查完整重复行应改用窗口函数。

sql中如何利用聚合函数检测数据表中的业务重复键

GROUP BY + HAVING COUNT(*) > 1 是最直接的业务重复键检测方式

只要明确哪些列组合构成你的“业务唯一键”,就用它们做 GROUP BY,再加 HAVING COUNT(*) > 1 过滤。比如订单系统中“用户ID+商品ID+下单时间”不允许重复,那就写:

SELECT user_id, product_id, order_time, COUNT(*) AS cnt
FROM orders
GROUP BY user_id, product_id, order_time
HAVING COUNT(*) > 1;

注意三点:

  • COUNT(*) 必须用,不能写 COUNT(col) —— 后者会跳过 NULL 值,导致含空值的重复组被漏掉
  • 所有参与业务逻辑判断的列都得显式列在 GROUP BY 中,不能偷懒写 GROUP BY *(MySQL 8.0+ 虽支持但不可靠,PostgreSQL 不认)
  • HAVING 是必须的,WHERE 在分组前执行,无法访问 COUNT(*) 结果

NULL 值不会破坏 GROUP BY 的分组一致性,但要注意语义是否合理

GROUP BY 默认把所有 NULL 当作同一组,这恰好符合“多个 NULL 值视为相等”的业务直觉。比如 email IS NULL 的多条记录会被归进同一组,COUNT(*) 也能正确统计。

但问题常出在业务定义上:你真想把“邮箱为空”的用户也当作潜在重复吗?

  • 先查空值占比:SELECT COUNT(*) FROM table WHERE col IS NULL
  • 如果空值太多且无业务意义,建议加 WHERE col IS NOT NULL 预过滤
  • 若需保留空值参与比对,别用 COALESCE(col, '') —— 字符串长度、排序规则(collation)可能引发隐式转换偏差

要拿到重复行的完整原始记录,就得用窗口函数

GROUP BY 只返回分组摘要,没法看到每条重复记录的 id、created_at 等字段。这时候必须切到窗口函数方案:

WITH dup_rows AS (
  SELECT *,
         COUNT(*) OVER (PARTITION BY user_id, product_id, order_time) AS dup_cnt
  FROM orders
)
SELECT * FROM dup_rows WHERE dup_cnt > 1;

关键细节:

  • PARTITION BY 列表必须和你定义的业务键完全一致,少一个就漏判
  • 如果后续要删重,推荐加 ROW_NUMBER() OVER (PARTITION BY ... ORDER BY id),方便取 rn = 1 作为保留行
  • SQL Server / PostgreSQL / MySQL 8.0+ 支持;SQLite 不支持,得用自连接模拟,性能差很多

大表上跑聚合容易慢,索引和预筛选比优化 SQL 更有效

千万级表上直接 GROUP BY 三列,没索引时可能几小时不出结果。与其调写法,不如先看数据分布:

  • 给业务键列建复合索引:CREATE INDEX idx_user_prod_time ON orders(user_id, product_id, order_time)
  • 用 EXISTS 快速探路是否存在重复:SELECT TOP 1 user_id FROM orders o1 WHERE EXISTS (SELECT 1 FROM orders o2 WHERE o2.user_id = o1.user_id AND o2.product_id = o1.product_id AND o2.order_time = o1.order_time AND o2.id != o1.id)
  • 如果只关心“有没有”,别用 COUNT(*);如果要导出全部重复行,优先走窗口函数 + CTE,避免多次扫描基表

真正容易被忽略的是业务键的完整性——比如漏掉了“是否测试单”这个标记字段,导致生产单和测试单被混在一起判重。查之前,先和产品/业务方确认:哪些字段共同构成“不可重复”的最小语义单元。

热门AI工具

更多
PixTV
PixTV Hot

PixTV是一款面向AIGC内容创作的AI视频生成工具。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

花生AI
花生AI Hot

一款AI视频创作工具,主要用于B站推出的AI视频创作工具,适合需要提升相关任务效率的用户。

函子Zion

一款支持AI搭建、可视化编辑和多端发布的全栈无代码开发平台。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

相关专题

更多
数据分析工具有哪些
数据分析工具有哪些

数据分析工具有Excel、SQL、Python、R、Tableau、Power BI、SAS、SPSS和MATLAB等。详细介绍:1、Excel,具有强大的计算和数据处理功能;2、SQL,可以进行数据查询、过滤、排序、聚合等操作;3、Python,拥有丰富的数据分析库;4、R,拥有丰富的统计分析库和图形库;5、Tableau,提供了直观易用的用户界面等等。

5143

2023.10.12

SQL中distinct的用法
SQL中distinct的用法

SQL中distinct的语法是“SELECT DISTINCT column1, column2,...,FROM table_name;”。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

1051

2023.10.27

SQL中months_between使用方法
SQL中months_between使用方法

在SQL中,MONTHS_BETWEEN 是一个常见的函数,用于计算两个日期之间的月份差。想了解更多SQL的相关内容,可以阅读本专题下面的文章。

1349

2024.02.23

SQL出现5120错误解决方法
SQL出现5120错误解决方法

SQL Server错误5120是由于没有足够的权限来访问或操作指定的数据库或文件引起的。想了解更多sql错误的相关内容,可以阅读本专题下面的文章。

7241

2024.03.06

sql procedure语法错误解决方法
sql procedure语法错误解决方法

sql procedure语法错误解决办法:1、仔细检查错误消息;2、检查语法规则;3、检查括号和引号;4、检查变量和参数;5、检查关键字和函数;6、逐步调试;7、参考文档和示例。想了解更多语法错误的相关内容,可以阅读本专题下面的文章。

3863

2024.03.06

oracle数据库运行sql方法
oracle数据库运行sql方法

运行sql步骤包括:打开sql plus工具并连接到数据库。在提示符下输入sql语句。按enter键运行该语句。查看结果,错误消息或退出sql plus。想了解更多oracle数据库的相关内容,可以阅读本专题下面的文章。

7220

2024.04.07

sql中where的含义
sql中where的含义

sql中where子句用于从表中过滤数据,它基于指定条件选择特定的行。想了解更多where的相关内容,可以阅读本专题下面的文章。

10161

2024.04.29

sql中删除表的语句是什么
sql中删除表的语句是什么

sql中用于删除表的语句是drop table。语法为drop table table_name;该语句将永久删除指定表的表和数据。想了解更多sql的相关内容,可以阅读本专题下面的文章。

1390

2024.04.29

Nginx CVE-2026-123007排查与防护指南
Nginx CVE-2026-123007排查与防护指南

Nginx HTTP/2漏洞该怎么修复?本专题围绕CVE-2026-123007,介绍安全版本升级、模块兼容检查和配置恢复方法,以及日志排查、权限设置等后续加固操作,方便你按实际部署情况查找对应教程。

0

2026.11.20

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn