讲师中心 微信公众号
AI工具推荐 视频效率加速

SQL中如何删除分组查询发现的重复数据?

陌萱酱_8263

陌萱酱_8263

发布时间:2026-08-28 13:59:29

|

421人浏览过

|

来源于php中文网

原创

最稳妥的做法是用ROW_NUMBER()给每组内行编号,只保留序号为1的那行;需用子查询包裹避免直接嵌套删除报错,并确保id非空或改用NOT EXISTS防NULL失效。

sql中如何删除分组查询发现的重复数据?

ROW_NUMBER() 标记重复行再删

直接在 GROUP BY 查询里加 DELETE 会报错,因为 SQL 不允许对含聚合或分组的查询结果执行删除。必须把重复判定逻辑转成可定位具体行的方式。最稳妥的做法是用窗口函数 ROW_NUMBER() 给每组内行编号,只保留序号为 1 的那行。

假设表 usersemail 字段重复,要按 email 去重,保留 id 最小的记录:

DELETE FROM users
WHERE id NOT IN (
  SELECT id FROM (
    SELECT id, ROW_NUMBER() OVER (PARTITION BY email ORDER BY id) AS rn
    FROM users
  ) t
  WHERE t.rn = 1
);
  • PARTITION BY email 定义分组依据,每组内 email 相同
  • ORDER BY id 决定哪一行被标为 rn = 1;换成 created_at DESC 就能留最新的一条
  • 别直接在子查询里 DELETE FROM (...) —— 多数数据库(如 MySQL 8.0+、PostgreSQL)不支持对同一张表的嵌套引用,必须包一层子查询 alias
  • 如果表没主键或 id 不唯一,得用 ctid(PostgreSQL)或 %%physloc%%(SQL Server)等物理标识,但风险更高

MySQL 低版本(5.7 及以前)的替代写法

MySQL 5.7 不支持在子查询中引用目标表,上面的写法会报错 You can't specify target table 'users' for update in FROM clause。得绕过这个限制:

CREATE TEMPORARY TABLE tmp_keep AS
SELECT MIN(id) AS id FROM users GROUP BY email;

DELETE FROM users WHERE id NOT IN (SELECT id FROM tmp_keep);

DROP TEMPORARY TABLE tmp_keep;
  • 不能用 DELETE ... JOIN 直接删,因为 JOIN 后的去重逻辑容易误删——比如 LEFT JOIN 条件写错,可能把所有行都删掉
  • 临时表必须带 TEMPORARY,否则并发时可能冲突;且生命周期只在当前会话有效
  • 如果数据量大,MIN(id) 聚合本身快,但后续 NOT IN 在空值存在时会失效——确保 id 列非空,或改用 NOT EXISTS

PostgreSQL 中用 ctid 避免依赖业务字段

当没有可靠唯一字段(比如只有几个文本列全重复),又不想加主键,可以用 PostgreSQL 的系统列 ctid 定位物理行:

DELETE FROM users
WHERE ctid NOT IN (
  SELECT min(ctid) FROM users GROUP BY email
);
  • ctid 是行在磁盘上的位置标识,每次 VACUUM 后可能变化,所以仅适合一次性清理,不能用于长期逻辑
  • 不能在复制环境或逻辑备库上依赖 ctid,它不保证主从一致
  • 如果表启用了 row security policies 或有 BEFORE DELETE 触发器,ctid 删除仍会触发它们

删之前务必先备份或用 SELECT 验证

重复数据清理是不可逆操作。哪怕语句看起来简单,也极容易因条件写错导致整表清空。

  • 永远先跑一遍对应 SELECT:比如把 DELETE 换成 SELECT *,确认输出的确实是想删的那些行
  • 在生产环境执行前,至少做一次 pg_dump -t usersmysqldump --no-create-info db users > backup.sql
  • 如果表有外键引用,DELETE 可能失败;先查 pg_constraintINFORMATION_SCHEMA.KEY_COLUMN_USAGE 确认依赖关系
  • 高并发场景下,建议加 FOR UPDATE SKIP LOCKED(PostgreSQL)或用应用层加锁,避免其他事务同时修改同一组数据

真正麻烦的不是语法怎么写,而是判断“哪些算重复”——业务定义模糊时,email 全小写比对?空格要不要 trim?时间字段精度取到秒还是毫秒?这些细节一旦漏掉,删完才发现留下的不是“干净数据”,而是另一种脏数据。

热门AI工具

更多
火山引擎

火山引擎是一款面向企业的云计算与AI服务平台。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

LibLibAI
LibLibAI Hot

一款AI视频创作工具,主要用于国内领先的AI创意平台,以海量模型、低门槛操作与“创作-分享-商业化”生态,让小白与专业创作者都能高效实现图文乃至视频创意表达,适合需要提升相关任务效率的用户。

立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

相关专题

更多
数据分析工具有哪些
数据分析工具有哪些

数据分析工具有Excel、SQL、Python、R、Tableau、Power BI、SAS、SPSS和MATLAB等。详细介绍:1、Excel,具有强大的计算和数据处理功能;2、SQL,可以进行数据查询、过滤、排序、聚合等操作;3、Python,拥有丰富的数据分析库;4、R,拥有丰富的统计分析库和图形库;5、Tableau,提供了直观易用的用户界面等等。

3703

2023.10.12

SQL中distinct的用法
SQL中distinct的用法

SQL中distinct的语法是“SELECT DISTINCT column1, column2,...,FROM table_name;”。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

791

2023.10.27

SQL中months_between使用方法
SQL中months_between使用方法

在SQL中,MONTHS_BETWEEN 是一个常见的函数,用于计算两个日期之间的月份差。想了解更多SQL的相关内容,可以阅读本专题下面的文章。

949

2024.02.23

SQL出现5120错误解决方法
SQL出现5120错误解决方法

SQL Server错误5120是由于没有足够的权限来访问或操作指定的数据库或文件引起的。想了解更多sql错误的相关内容,可以阅读本专题下面的文章。

5461

2024.03.06

sql procedure语法错误解决方法
sql procedure语法错误解决方法

sql procedure语法错误解决办法:1、仔细检查错误消息;2、检查语法规则;3、检查括号和引号;4、检查变量和参数;5、检查关键字和函数;6、逐步调试;7、参考文档和示例。想了解更多语法错误的相关内容,可以阅读本专题下面的文章。

2463

2024.03.06

oracle数据库运行sql方法
oracle数据库运行sql方法

运行sql步骤包括:打开sql plus工具并连接到数据库。在提示符下输入sql语句。按enter键运行该语句。查看结果,错误消息或退出sql plus。想了解更多oracle数据库的相关内容,可以阅读本专题下面的文章。

5460

2024.04.07

sql中where的含义
sql中where的含义

sql中where子句用于从表中过滤数据,它基于指定条件选择特定的行。想了解更多where的相关内容,可以阅读本专题下面的文章。

7101

2024.04.29

sql中删除表的语句是什么
sql中删除表的语句是什么

sql中用于删除表的语句是drop table。语法为drop table table_name;该语句将永久删除指定表的表和数据。想了解更多sql的相关内容,可以阅读本专题下面的文章。

970

2024.04.29

Vibeknow在线使用入口合集
Vibeknow在线使用入口合集

本专题汇总了Vibeknow在线创作视频的官方入口及网页版使用教程,涵盖PPT、PDF、Word等文档一键转讲解视频的核心操作,并整理了免费版水印规则与手机端浏览器访问指南,助你快速将知识内容视频化。

0

2026.09.21

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PHP零基础通关宝典
PHP零基础通关宝典

共78课时 | 12.8万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn