讲师中心 微信公众号
AI工具推荐 视频效率加速

如何在MySQL 8.0中使用窗口函数进行数据去重?

云墨小哥_5443

云墨小哥_5443

发布时间:2026-07-21 06:43:20

|

973人浏览过

|

来源于php中文网

原创

ROW_NUMBER()是MySQL 8.0+多字段去重核心,需用子查询规避Error 1093;ORDER BY须明确方向及NULL处理,多条件优先级用CASE表达式实现;SELECT仅查视图,DELETE才真正删数据。

如何在mysql 8.0中使用窗口函数进行数据去重?

ROW_NUMBER() 是去重的核心函数

MySQL 8.0+ 中真正可控的多字段去重,必须依赖 ROW_NUMBER() 窗口函数。它不靠模糊聚合,也不依赖主键大小硬性取舍,而是先按业务逻辑分组排序,再精确标记“该留哪一条”。DISTINCT 和 GROUP BY 在需要保留完整行、且有优先级规则时根本不够用——比如“同一用户只留最新订单”,DISTINCT 无法指定时间字段,“GROUP BY user_id + MAX(order_time)”又拿不到订单金额、地址等其他字段。

DELETE 去重前必须套两层子查询

直接在 DELETE 语句里写 ROW_NUMBER() 会报错:Error 1093: You can't specify target table 'users' for update in FROM clause。这是 MySQL 的限制,必须把窗口函数结果先放到派生表(子查询)里,再让外层 DELETE 引用。

  • 错误写法:DELETE FROM users WHERE id IN (SELECT id FROM users GROUP BY name, email ...) —— 这不是窗口函数,但同样违反限制
  • 正确结构:外层 DELETE → 中层 SELECT id FROM (...) t WHERE rn > 1 → 内层 SELECT id, ROW_NUMBER() OVER (PARTITION BY name, email ORDER BY id DESC) AS rn FROM users
  • 关键点:ORDER BY 必须明确方向,DESC 通常保留最新(最大 ID 或最新时间),ASC 则保留最旧

多条件优先级排序要靠 CASE 表达式

当“最新”不是唯一标准,比如要优先保留 status = 'active' 的记录,其次才是时间,就不能只写 ORDER BY created_at DESC。得把业务规则翻译成排序权重:

MySQL
MySQL

编写正确的MySQL查询,避免字符集、索引和锁方面的常见陷阱。

下载
  • ORDER BY CASE WHEN status = 'active' THEN 0 ELSE 1 END, created_at DESC:把 active 记录排最前,同状态内再按时间倒序
  • 避免写 ORDER BY status DESC:字符串比较不可靠,'pending' 可能比 'active' 排前面
  • 如果字段可能为 NULL,加 IS NULL 判断,否则 NULL 会被排在最前或最后,破坏预期顺序

查询时去重和删除时去重不能混用

很多人误以为 SELECT 里用了 ROW_NUMBER() 就等于数据已去重——其实只是临时视图。原表一条没少。真要删数据,必须走 DELETE 语句;只想查去重后结果,就用带 WHERE rn = 1 的子查询。两者语法结构相似,但意图和影响完全不同:

  • 查:用 SELECT * FROM (SELECT *, ROW_NUMBER() OVER (...) AS rn FROM t) t2 WHERE rn = 1
  • 删:用 DELETE FROM t WHERE id IN (SELECT id FROM (SELECT id, ROW_NUMBER() OVER (...) AS rn FROM t) t2 WHERE rn > 1)
  • 执行 DELETE 前务必备份,或先用 SELECT 版本验证哪些 ID 会被删

实际操作中最容易漏掉的是 ORDER BY 子句里的 NULL 处理和多条件权重设计——看起来只改几个字,但结果可能全错。

热门AI工具

更多
DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

超级简历WonderCV

一款AI办公效率工具,主要用于免费求职简历模版下载制作,应届生职场人必备简历制作神器,适合需要提升相关任务效率的用户。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

LibLibAI
LibLibAI Hot

一款AI视频创作工具,主要用于国内领先的AI创意平台,以海量模型、低门槛操作与“创作-分享-商业化”生态,让小白与专业创作者都能高效实现图文乃至视频创意表达,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

相关专题

更多
数据分析工具有哪些
数据分析工具有哪些

数据分析工具有Excel、SQL、Python、R、Tableau、Power BI、SAS、SPSS和MATLAB等。详细介绍:1、Excel,具有强大的计算和数据处理功能;2、SQL,可以进行数据查询、过滤、排序、聚合等操作;3、Python,拥有丰富的数据分析库;4、R,拥有丰富的统计分析库和图形库;5、Tableau,提供了直观易用的用户界面等等。

4083

2023.10.12

SQL中distinct的用法
SQL中distinct的用法

SQL中distinct的语法是“SELECT DISTINCT column1, column2,...,FROM table_name;”。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

871

2023.10.27

SQL中months_between使用方法
SQL中months_between使用方法

在SQL中,MONTHS_BETWEEN 是一个常见的函数,用于计算两个日期之间的月份差。想了解更多SQL的相关内容,可以阅读本专题下面的文章。

1069

2024.02.23

SQL出现5120错误解决方法
SQL出现5120错误解决方法

SQL Server错误5120是由于没有足够的权限来访问或操作指定的数据库或文件引起的。想了解更多sql错误的相关内容,可以阅读本专题下面的文章。

5961

2024.03.06

sql procedure语法错误解决方法
sql procedure语法错误解决方法

sql procedure语法错误解决办法:1、仔细检查错误消息;2、检查语法规则;3、检查括号和引号;4、检查变量和参数;5、检查关键字和函数;6、逐步调试;7、参考文档和示例。想了解更多语法错误的相关内容,可以阅读本专题下面的文章。

2863

2024.03.06

oracle数据库运行sql方法
oracle数据库运行sql方法

运行sql步骤包括:打开sql plus工具并连接到数据库。在提示符下输入sql语句。按enter键运行该语句。查看结果,错误消息或退出sql plus。想了解更多oracle数据库的相关内容,可以阅读本专题下面的文章。

5940

2024.04.07

sql中where的含义
sql中where的含义

sql中where子句用于从表中过滤数据,它基于指定条件选择特定的行。想了解更多where的相关内容,可以阅读本专题下面的文章。

7921

2024.04.29

sql中删除表的语句是什么
sql中删除表的语句是什么

sql中用于删除表的语句是drop table。语法为drop table table_name;该语句将永久删除指定表的表和数据。想了解更多sql的相关内容,可以阅读本专题下面的文章。

1070

2024.04.29

FrankenPHP集成Laravel详细教程
FrankenPHP集成Laravel详细教程

本专题提供FrankenPHP集成Laravel的详细配置指南,全面解析运行原理、开发环境搭建、Caddyfile配置、Octane工作模式、数据库连接、队列任务、定时任务和生产环境优化,解决部署过程中常见的报错与兼容性问题。

0

2026.10.08

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL vs MySQL
PostgreSQL vs MySQL

共1课时 | 181人学习

使用phpenv集成环境安装极致CMS
使用phpenv集成环境安装极致CMS

共2课时 | 287人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn