讲师中心 微信公众号
AI工具推荐 视频效率加速

mysql批量删除表中重复记录的SQL_高效去重语句

小磊君_1472

小磊君_1472

发布时间:2026-04-02 13:21:33

|

535人浏览过

|

来源于php中文网

原创

MySQL 8.0+ 用 ROW_NUMBER() 窗口函数按指定字段分组排序编号,删除编号>1的行以保留最新一条;5.7-用自连接+LEFT JOIN模拟,需联合索引和主键,或用CREATE TABLE SELECT DISTINCT重建表。

mysql批量删除表中重复记录的sql_高效去重语句

MySQL 删除重复行只保留一条:用 ROW_NUMBER() 窗口函数最稳

MySQL 8.0+ 支持窗口函数,ROW_NUMBER() 是去重最可控的方式。它能按指定字段分组编号,再筛掉编号 >1 的行,避免误删或漏删。

常见错误是直接用 GROUP BY 配合 MIN(id) 再 DELETE,但这种写法在子查询里引用同一张表会报错:ERROR 1093 (HY000): You can't specify target table 't' for update in FROM clause。

  • 必须用派生表(子查询套一层)或 CTE 绕过限制
  • 排序逻辑很重要:比如按 created_at DESC 保留最新的一条,而不是默认顺序
  • 务必先 SELECT 验证要删哪些行,别跳过这步
WITH dup AS (
  SELECT id,
         ROW_NUMBER() OVER (
           PARTITION BY col_a, col_b 
           ORDER BY created_at DESC
         ) AS rn
  FROM my_table
)
DELETE FROM my_table 
WHERE id IN (SELECT id FROM dup WHERE rn > 1);

MySQL 5.7 或更低版本:用自连接 + LEFT JOIN 模拟去重

老版本没窗口函数,只能靠自连接比对。核心思路是:对每组重复数据,让“较小的 id”左连接“更大的 id”,如果连不上,说明它是该组里最小的,就保留;否则删除。

性能上要注意:JOIN 字段必须有联合索引,否则全表扫描极慢。比如按 (col_a, col_b) 重复,就得建 INDEX idx_dup (col_a, col_b)。

MySQL
MySQL

编写正确的MySQL查询,避免字符集、索引和锁方面的常见陷阱。

下载
  • 不能用 IN 子查询替代 JOIN,5.7 对子查询优化差,容易锁表卡死
  • id 必须是主键或唯一索引列,否则 JOIN 条件可能匹配多行,逻辑错乱
  • 执行前加 SELECT COUNT(*) 看重复量级,几万行以上建议分批删
DELETE t1 FROM my_table t1
INNER JOIN my_table t2 
  ON t1.col_a = t2.col_a 
  AND t1.col_b = t2.col_b 
  AND t1.id > t2.id;

用 CREATE TABLE ... SELECT DISTINCT 替换整表:适合中小表且可停写

当表不大(比如

容易踩的坑是忽略表结构细节:原表的 AUTO_INCREMENT、COMMENT、字符集、索引、外键都不会自动复制过去。

  • 先用 SHOW CREATE TABLE my_table 查原建表语句,手动补全索引和选项
  • DISTINCT 只对 SELECT 字段生效,如果想按某字段去重但保留其他字段值(如最新时间),得配合 GROUP BY + 聚合函数,不能只靠 DISTINCT
  • 替换前记得备份原表:RENAME TABLE my_table TO my_table_bak, my_table_new TO my_table
CREATE TABLE my_table_new AS
SELECT MIN(id) AS id, col_a, col_b, MAX(created_at) AS created_at
FROM my_table
GROUP BY col_a, col_b;

为什么不要用 ALTER IGNORE TABLE ... ADD UNIQUE INDEX

MySQL 5.7 以前支持 IGNORE 关键字强制去重建唯一索引,但它已被弃用,5.7 默认禁用,8.0 完全移除。即使开启兼容模式,行为也不可靠:

  • 重复行被删哪条完全由存储引擎内部顺序决定,无法控制保留逻辑
  • 会静默丢数据,不报错也不提示删了几行
  • 可能破坏主从一致性,从库同步失败风险高
  • 唯一索引建完,原表 id 就断了,后续插入可能冲突

真遇到线上紧急去重,宁可停写几分钟走 CREATE TABLE 方案,也别碰 IGNORE。

真正难的不是写 SQL,而是判断「哪些字段才算重复」——业务语义一旦模糊,比如 phone 字段带空格或区号变体,SQL 层就无能为力,得前置清洗。

热门AI工具

更多
DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

Seko
Seko Hot

一款AI视频创作工具,主要用于商汤科技推出的创编一体的AI短视频创作Agent,适合需要提升相关任务效率的用户。

UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

音述AI
音述AI Hot

一款AI音频处理工具,主要用于音述AI是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区,适合需要提升相关任务效率的用户。

相关专题

更多
数据分析工具有哪些
数据分析工具有哪些

数据分析工具有Excel、SQL、Python、R、Tableau、Power BI、SAS、SPSS和MATLAB等。详细介绍:1、Excel,具有强大的计算和数据处理功能;2、SQL,可以进行数据查询、过滤、排序、聚合等操作;3、Python,拥有丰富的数据分析库;4、R,拥有丰富的统计分析库和图形库;5、Tableau,提供了直观易用的用户界面等等。

4183

2023.10.12

SQL中distinct的用法
SQL中distinct的用法

SQL中distinct的语法是“SELECT DISTINCT column1, column2,...,FROM table_name;”。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

891

2023.10.27

SQL中months_between使用方法
SQL中months_between使用方法

在SQL中,MONTHS_BETWEEN 是一个常见的函数,用于计算两个日期之间的月份差。想了解更多SQL的相关内容,可以阅读本专题下面的文章。

1089

2024.02.23

SQL出现5120错误解决方法
SQL出现5120错误解决方法

SQL Server错误5120是由于没有足够的权限来访问或操作指定的数据库或文件引起的。想了解更多sql错误的相关内容,可以阅读本专题下面的文章。

6081

2024.03.06

sql procedure语法错误解决方法
sql procedure语法错误解决方法

sql procedure语法错误解决办法:1、仔细检查错误消息;2、检查语法规则;3、检查括号和引号;4、检查变量和参数;5、检查关键字和函数;6、逐步调试;7、参考文档和示例。想了解更多语法错误的相关内容,可以阅读本专题下面的文章。

2963

2024.03.06

oracle数据库运行sql方法
oracle数据库运行sql方法

运行sql步骤包括:打开sql plus工具并连接到数据库。在提示符下输入sql语句。按enter键运行该语句。查看结果,错误消息或退出sql plus。想了解更多oracle数据库的相关内容,可以阅读本专题下面的文章。

6060

2024.04.07

sql中where的含义
sql中where的含义

sql中where子句用于从表中过滤数据,它基于指定条件选择特定的行。想了解更多where的相关内容,可以阅读本专题下面的文章。

8141

2024.04.29

sql中删除表的语句是什么
sql中删除表的语句是什么

sql中用于删除表的语句是drop table。语法为drop table table_name;该语句将永久删除指定表的表和数据。想了解更多sql的相关内容,可以阅读本专题下面的文章。

1110

2024.04.29

PixTV官网入口地址合集
PixTV官网入口地址合集

本专题汇总了 PixTV AI 一站式视频创作平台的官方入口与使用教程。无需下载软件,浏览器直接访问即可使用。平台将剧本、图像、视频、声音与剪辑整合在“无限画布”中,接入 GPT Image 2.5、Seedance 2.5 等头部模型。本专题整理了从新建画布、角色锚定、分镜拆分到视频生成与导出的完整操作指南,助你快速上手 AI 短剧与漫剧创作。

40

2026.10.10

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL vs MySQL
PostgreSQL vs MySQL

共1课时 | 183人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn