讲师中心 微信公众号
AI工具推荐 视频效率加速

如何利用SQL存储过程快速查找并删除数据库中的重复记录?

阿涛酱_4424

阿涛酱_4424

发布时间:2026-06-15 11:14:35

|

258人浏览过

|

来源于php中文网

原创

SQL存储过程本身不加速查重或删重,真正影响速度的是查询写法、索引、数据量和数据库版本;盲目封装反而可能掩盖性能瓶颈。

如何利用sql存储过程快速查找并删除数据库中的重复记录?

直接说结论:SQL 存储过程本身不加速查找或删除重复记录,它只是把已有逻辑封装起来;真正影响速度的是底层查询写法、索引、数据量和数据库版本。盲目封装成存储过程反而可能掩盖性能瓶颈。

为什么用存储过程查重容易踩坑

很多人以为“写成存储过程=自动优化”,其实不然。存储过程不会改变 SQL 本身的执行计划,反而可能因参数嗅探、缓存计划失效、缺乏实时统计信息导致比手写语句更慢。

  • EXEC sp_delete_duplicates 执行时若没加 WITH RECOMPILE,可能复用旧执行计划,对新数据效果极差
  • 传入字段名作为字符串参数(如 @key_columns NVARCHAR(200))会迫使你用 EXEC(@sql) 拼接动态 SQL,失去编译期检查,也难加索引提示
  • 没有预判 GROUP BY 字段是否已建索引,直接在千万行表上跑 SELECT ... GROUP BY email, name,I/O 和排序开销爆炸

真正有效的存储过程写法(以 PostgreSQL / SQL Server 为例)

只封装**确定性高、参数固定、可预建索引**的场景。例如:按 email 去重,且该字段已有唯一索引或 B-tree 索引。

  • 必须显式限定去重字段,不支持泛化列名拼接 —— 避免动态 SQL
  • 内部用 ROW_NUMBER() OVER (PARTITION BY email ORDER BY created_at) 标记,而非 NOT IN (SELECT MIN(id) ...)(后者在大表上易锁表、内存溢出)
  • 加上 RAISE NOTICE 或 PRINT 输出实际删除行数,方便核对
  • 示例核心逻辑(PostgreSQL):
CREATE OR REPLACE PROCEDURE clean_users_by_email()
LANGUAGE plpgsql AS $$
DECLARE
  deleted_count INTEGER;
BEGIN
  WITH duplicates AS (
    SELECT id,
           ROW_NUMBER() OVER (PARTITION BY email ORDER BY created_at) AS rn
    FROM users
    WHERE email IS NOT NULL
  )
  DELETE FROM users
  WHERE id IN (SELECT id FROM duplicates WHERE rn > 1);

  GET DIAGNOSTICS deleted_count = ROW_COUNT;
  RAISE NOTICE 'Deleted % duplicate rows', deleted_count;
END;
$$;

MySQL 8.0+ 存储过程中必须绕过的限制

MySQL 在存储过程里执行 DELETE ... WHERE id IN (SELECT ...) 会报错 Error 1093: You can't specify target table 'users' for update in FROM clause,这不是语法问题,是引擎限制。

  • 不能直接在 DELETE 中嵌套引用同一张表的子查询
  • 正确解法:用 CTE + 临时表中转,或改用自连接(但自连接在存储过程中写法笨重)
  • 推荐做法:在存储过程里先建临时表存待删 id,再 DELETE FROM users WHERE id IN (SELECT id FROM temp_to_delete)
  • 务必在过程末尾 DROP TEMPORARY TABLE temp_to_delete,否则下次调用失败

比存储过程更值得优先做的事

删重慢,90% 不是因为没写存储过程,而是因为没做这三件事:

  • 确认去重字段(如 email)上有索引 —— CREATE INDEX idx_users_email ON users(email);
  • 避免在 WHERE 条件里对去重字段做函数操作,比如 LOWER(email),会失索引
  • 大数据量时分批删:DELETE FROM users WHERE id IN (...) LIMIT 1000; 循环执行,防长事务锁表

存储过程只是壳,底下的查询逻辑、索引设计、执行节奏,才是决定快慢的关键。别为了“看起来规范”而提前封装,先让单条语句跑通、跑稳、跑快再说。

热门AI工具

更多
豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

PixTV
PixTV Hot

PixTV是一款面向AIGC内容创作的AI视频生成工具。

切问学术

切问学术是一款AI论文写作工具,复旦大学NLP团队推出的AI学术智能体。

VibeKnow
VibeKnow Hot

一款AI视频创作工具,主要用于全球首个AI知识视频创作平台,文档、文章、网页,一键生成视频,适合需要提升相关任务效率的用户。

火山引擎

火山引擎是一款面向企业的云计算与AI服务平台。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

相关专题

更多
数据分析工具有哪些
数据分析工具有哪些

数据分析工具有Excel、SQL、Python、R、Tableau、Power BI、SAS、SPSS和MATLAB等。详细介绍:1、Excel,具有强大的计算和数据处理功能;2、SQL,可以进行数据查询、过滤、排序、聚合等操作;3、Python,拥有丰富的数据分析库;4、R,拥有丰富的统计分析库和图形库;5、Tableau,提供了直观易用的用户界面等等。

4003

2023.10.12

SQL中distinct的用法
SQL中distinct的用法

SQL中distinct的语法是“SELECT DISTINCT column1, column2,...,FROM table_name;”。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

851

2023.10.27

SQL中months_between使用方法
SQL中months_between使用方法

在SQL中,MONTHS_BETWEEN 是一个常见的函数,用于计算两个日期之间的月份差。想了解更多SQL的相关内容,可以阅读本专题下面的文章。

1029

2024.02.23

SQL出现5120错误解决方法
SQL出现5120错误解决方法

SQL Server错误5120是由于没有足够的权限来访问或操作指定的数据库或文件引起的。想了解更多sql错误的相关内容,可以阅读本专题下面的文章。

5841

2024.03.06

sql procedure语法错误解决方法
sql procedure语法错误解决方法

sql procedure语法错误解决办法:1、仔细检查错误消息;2、检查语法规则;3、检查括号和引号;4、检查变量和参数;5、检查关键字和函数;6、逐步调试;7、参考文档和示例。想了解更多语法错误的相关内容,可以阅读本专题下面的文章。

2783

2024.03.06

oracle数据库运行sql方法
oracle数据库运行sql方法

运行sql步骤包括:打开sql plus工具并连接到数据库。在提示符下输入sql语句。按enter键运行该语句。查看结果,错误消息或退出sql plus。想了解更多oracle数据库的相关内容,可以阅读本专题下面的文章。

5820

2024.04.07

sql中where的含义
sql中where的含义

sql中where子句用于从表中过滤数据,它基于指定条件选择特定的行。想了解更多where的相关内容,可以阅读本专题下面的文章。

7741

2024.04.29

sql中删除表的语句是什么
sql中删除表的语句是什么

sql中用于删除表的语句是drop table。语法为drop table table_name;该语句将永久删除指定表的表和数据。想了解更多sql的相关内容,可以阅读本专题下面的文章。

1050

2024.04.29

LLVM自定义Pass怎么写
LLVM自定义Pass怎么写

本专题聚焦LLVM自定义Pass开发,整理Pass类结构、run()方法、PreservedAnalyses、CMake构建、插件注册、-load-pass-plugin加载和测试用例编写流程。

80

2026.09.30

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
魔乐科技oracle视频教程
魔乐科技oracle视频教程

共27课时 | 6.6万人学习

肖文吉Oracle视频教程
肖文吉Oracle视频教程

共33课时 | 9万人学习

尚观Oracle入门到精通视频教程
尚观Oracle入门到精通视频教程

共22课时 | 10.9万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn