讲师中心 微信公众号
AI工具推荐 视频效率加速

在SQL Server中如何用窗口函数高效去重海量数据

夜明吖_4730

夜明吖_4730

发布时间:2026-10-12 13:45:30

|

750人浏览过

|

来源于php中文网

原创

最可靠方法是用CTE包裹ROW_NUMBER()后DELETE,必须指定PARTITION BY和稳定ORDER BY,删前验证重复分布,删后重建索引并更新统计信息。

在sql server中如何用窗口函数高效去重海量数据

直接用 ROW_NUMBER() + CTE 删除重复行最可靠

SQL Server 2005+ 全支持窗口函数,ROW_NUMBER() 是去重的核心工具。它不依赖索引、不触发全表扫描,且能精确控制“留哪条”,比 DISTINCT 或子查询更可控。关键不是“查出来”,而是“删干净”——尤其在千万级表上,必须用 CTE 包裹后再 DELETE,否则会报错。

常见错误是写成:DELETE FROM (SELECT ..., ROW_NUMBER() ...) —— SQL Server 不允许直接删子查询结果。必须用 CTE 定义别名,再对别名执行 DELETE。

  • 确保 PARTITION BY 字段组合真正代表“重复逻辑”,比如去重访客日志,应是 PARTITION BY user_id, visit_date,而不是只按 user_id
  • ORDER BY 要选有业务意义的字段:要留最新记录就用 create_time DESC,要留最早就用 id ASC
  • 务必加 WHERE rn > 1,不能漏掉条件,否则整张表被清空
WITH cte AS (
  SELECT *,
         ROW_NUMBER() OVER (
           PARTITION BY user_id, visit_date 
           ORDER BY create_time DESC
         ) AS rn
  FROM logs
)
DELETE FROM cte WHERE rn > 1;

去重前必须先验证重复分布,别盲目跑 DELETE

海量数据下,一次误操作可能锁表数分钟。先用 GROUP BY + HAVING 快速确认重复模式,比直接删更安全。

例如发现 user_id + visit_date 组合中,95% 的重复组只有 2–3 条记录,但有 0.1% 的组高达 200+ 条——这说明部分用户埋点异常,需人工抽检,不能一刀切删。

  • 查重复组合数量:SELECT COUNT(*) FROM (SELECT user_id, visit_date FROM logs GROUP BY user_id, visit_date HAVING COUNT(*) > 1) t
  • 查最大重复频次:SELECT MAX(cnt) FROM (SELECT COUNT(*) AS cnt FROM logs GROUP BY user_id, visit_date) t
  • 抽样看典型重复块:SELECT TOP 10 *, COUNT(*) OVER (PARTITION BY user_id, visit_date) AS dup_cnt FROM logs ORDER BY dup_cnt DESC

ORDER BY (SELECT NULL) 是性能陷阱,慎用

有人为“省事”在 ROW_NUMBER() 里写 ORDER BY (SELECT NULL),以为只是随便排个序。但 SQL Server 会把它解释为“无确定顺序”,可能导致同一语句多次执行返回不同结果——删掉的记录不固定,后续数据一致性无法保障。

即使业务上真不关心留哪条,也应显式指定一个稳定字段,比如 id ASC 或 create_time ASC。主键或时间戳字段几乎总有索引,排序开销极小,还能避免隐式转换和统计信息失效问题。

  • ✅ 推荐:ORDER BY id ASC(假设 id 是自增主键)
  • ❌ 避免:ORDER BY (SELECT NULL) 或空 ORDER BY
  • ⚠️ 注意:ORDER BY create_time 若该列无索引,大数据量下排序成本高,可先建索引再执行

物理删除后记得重建索引和更新统计信息

删掉几十万行后,聚集索引页会出现大量空洞,非聚集索引的叶级碎片率飙升,后续查询性能可能断崖式下跌。这不是“去重完成”的终点,而是维护的起点。

尤其当原表有高频查询依赖 user_id 或 visit_date 等字段时,碎片直接影响执行计划选择。别跳过这步。

  • 重建主键聚集索引:ALTER INDEX PK_logs ON logs REBUILD
  • 更新统计信息:UPDATE STATISTICS logs WITH FULLSCAN(FULLSCAN 对去重后数据更准确)
  • 如果用了分区表,确认是否需要 REORGANIZE 分区而非全表 REBUILD

真正难的不是写出那几行 ROW_NUMBER(),而是判断哪些重复该删、哪些该留、删完系统还稳不稳。数据量越大,越要靠前置验证和事后维护兜底,而不是只信一条 DELETE 语句。

热门AI工具

更多
豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

PixPix
PixPix Hot

PixPix是一款面向电商视觉生产的AI商品图生成工具。

音述AI
音述AI Hot

一款AI音频处理工具,主要用于音述AI是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区,适合需要提升相关任务效率的用户。

AionClaw
AionClaw Hot

AionClaw是一款面向办公、创作和编程任务的AI桌面智能体。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

相关专题

更多
大数据分析工具有哪四个
大数据分析工具有哪四个

大数据分析的四个工具分别是rapidminer、Hpcc、Hadoop和Pentaho bi。大数据分析用于从各种来源生成的原始数据中提取有价值的数据。这些数据帮助我们获得有意义的见解、隐藏的模式、未知的相关性、市场趋势等等,具体取决于行业。大数据分析的主要动机是提供有价值的见解,以便为未来做出更好的决策。php中文网为大家带来了大数据分析的相关教程、以及相关文章等内容,供大家免费下载使用。

5136

2023.06.21

Java 大数据处理基础(Hadoop 方向)
Java 大数据处理基础(Hadoop 方向)

本专题聚焦 Java 在大数据离线处理场景中的核心应用,系统讲解 Hadoop 生态的基本原理、HDFS 文件系统操作、MapReduce 编程模型、作业优化策略以及常见数据处理流程。通过实际示例(如日志分析、批处理任务),帮助学习者掌握使用 Java 构建高效大数据处理程序的完整方法。

1249

2025.12.08

大数据专业学习教程
大数据专业学习教程

本专题整合了大数据专业学习相关教程,阅读专题下面的文章了解更多详细内容。

243

2026.01.05

python处理大数据合集
python处理大数据合集

本专题整合了python处理大数据相关教程,阅读专题下面的文章了解更多详细内容。

486

2026.01.05

sqlserver和mysql区别
sqlserver和mysql区别

SQL Server和MySQL是两种广泛使用的关系型数据库管理系统。它们具有相似的功能和用途,但在某些方面存在一些显著的区别。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

5491

2023.08.11

数据库三范式
数据库三范式

数据库三范式是一种设计规范,用于规范化关系型数据库中的数据结构,它通过消除冗余数据、提高数据库性能和数据一致性,提供了一种有效的数据库设计方法。本专题提供数据库三范式相关的文章、下载和课程。

2685

2023.06.29

如何删除数据库
如何删除数据库

删除数据库是指在MySQL中完全移除一个数据库及其所包含的所有数据和结构,作用包括:1、释放存储空间;2、确保数据的安全性;3、提高数据库的整体性能,加速查询和操作的执行速度。尽管删除数据库具有一些好处,但在执行任何删除操作之前,务必谨慎操作,并备份重要的数据。删除数据库将永久性地删除所有相关数据和结构,无法回滚。

3901

2023.08.14

vb怎么连接数据库
vb怎么连接数据库

在VB中,连接数据库通常使用ADO(ActiveX 数据对象)或 DAO(Data Access Objects)这两个技术来实现:1、引入ADO库;2、创建ADO连接对象;3、配置连接字符串;4、打开连接;5、执行SQL语句;6、处理查询结果;7、关闭连接即可。

2951

2023.08.31

OpenJDK JVM参数怎么调优
OpenJDK JVM参数怎么调优

Java应用运行缓慢,如何调整JVM参数?本专题介绍OpenJDK JVM性能调优的基本流程,涵盖性能指标确认、运行数据采集、内存配置和垃圾回收分析,帮助你先定位瓶颈,再通过对照测试验证效果,避免直接套用参数而影响应用稳定性。

0

2026.10.16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn