讲师中心 微信公众号
AI工具推荐 视频效率加速

如何用SQL存储过程安全删除重复数据?

云杰酱_5761

云杰酱_5761

发布时间:2026-08-12 15:52:12

|

1078人浏览过

|

来源于php中文网

原创

存储过程本身不保证安全删重,真正决定安全性的,是执行逻辑是否可预判、是否加锁可控、是否支持回滚验证;多数人直接封装DELETE语句反而放大锁表或误删风险。

如何用sql存储过程安全删除重复数据?

存储过程本身不保证安全删重,真正决定安全性的,是执行逻辑是否可预判、是否加锁可控、是否支持回滚验证——多数人直接封装 DELETE 语句反而放大风险。

为什么用存储过程删重容易锁表或误删

很多人把“查重+删重”写进存储过程就以为万事大吉,结果在生产环境跑一次就卡住整个表。核心问题不是语法错,而是没考虑数据库的执行行为:

  • DELETE FROM t WHERE id IN (SELECT ...) 在 MySQL 中会触发全表扫描+隐式锁升级,尤其当子查询未走索引时,可能锁住上万行
  • SQL Server 的参数嗅探会让第一次编译的执行计划被复用,若首次传入的是小数据集,后续大表执行就可能走嵌套循环而非哈希匹配,内存爆满
  • PostgreSQL 的 WITH ... DELETE 虽原子,但若 PARTITION BY 字段无索引,ROW_NUMBER() 排序阶段就会吃光 shared_buffers
  • 没加事务包装或没设 SET XACT_ABORT ON(SQL Server)/ BEGIN TRANSACTION(PG),出错时部分删掉就停了,无法回滚

MySQL 8.0+ 存储过程中绕过 Error 1093 的硬限制

MySQL 禁止在 DELETE 中直接引用同一张表的子查询,这不是 bug,是引擎设计限制。强行拼 EXEC(@sql) 不仅失去语法检查,还让 SQL 注入风险翻倍。

安全做法是用临时表中转,且必须显式命名、带 DROP TEMPORARY TABLE IF EXISTS:

DELIMITER $$
CREATE PROCEDURE clean_users_by_email()
BEGIN
  DECLARE deleted_count INT DEFAULT 0;
<p>DROP TEMPORARY TABLE IF EXISTS _dup_ids;
CREATE TEMPORARY TABLE _dup_ids (
id INT PRIMARY KEY
);</p><p>INSERT INTO _dup_ids
SELECT id FROM (
SELECT id,
ROW_NUMBER() OVER (PARTITION BY email ORDER BY created_at) AS rn
FROM users
WHERE email IS NOT NULL
) t WHERE rn > 1;</p><p>DELETE u FROM users u
INNER JOIN _dup_ids d ON u.id = d.id;</p><p>GET DIAGNOSTICS deleted_count = ROW_COUNT;
SELECT CONCAT('Deleted ', deleted_count, ' duplicate rows') AS result;</p><p>DROP TEMPORARY TABLE _dup_ids;
END$$
DELIMITER ;
  • 临时表名加下划线前缀,避免和业务表名冲突
  • 必须用 INNER JOIN 写法,不能用 WHERE id IN (SELECT ...),否则仍报 1093
  • GET DIAGNOSTICS 比 ROW_COUNT() 更可靠,它返回的是刚执行的 DELETE 影响行数,不受前面 INSERT 干扰

SQL Server 存储过程中防参数嗅探的关键设置

如果你传入 @key_columns NVARCHAR(200) 动态拼字段名,等于主动放弃执行计划缓存和安全边界。正确姿势是:固定去重字段 + 强制重编译 + 显式提示索引。

  • 只允许按已建索引的列去重,比如 email 列有 INDEX idx_email ON users(email)
  • 存储过程开头加 WITH RECOMPILE,避免复用旧计划
  • 在 CTE 中用 OPTION (RECOMPILE),让优化器每次根据实际数据量生成计划
  • 删除前加 IF NOT EXISTS (SELECT 1 FROM sys.dm_db_index_usage_stats ...) 校验索引是否存在,防止误跑

示例关键片段:

CREATE OR ALTER PROCEDURE clean_users_by_email
WITH RECOMPILE
AS
BEGIN
  SET NOCOUNT ON;
<p>-- 验证索引存在
IF NOT EXISTS (
SELECT 1 FROM sys.indexes i
JOIN sys.index_columns ic ON i.object_id = ic.object_id AND i.index_id = ic.index_id
JOIN sys.columns c ON ic.object_id = c.object_id AND ic.column_id = c.column_id
WHERE i.object_id = OBJECT_ID('users') AND c.name = 'email'
)
BEGIN
RAISERROR('Missing index on users.email', 16, 1);
RETURN;
END</p><p>WITH duplicates AS (
SELECT id,
ROW_NUMBER() OVER (PARTITION BY email ORDER BY created_at) AS rn
FROM users WITH (NOLOCK)
WHERE email IS NOT NULL
)
DELETE FROM users
WHERE id IN (SELECT id FROM duplicates WHERE rn > 1)
OPTION (RECOMPILE);
END

真正该优先做的三件事,比写存储过程重要得多

别急着封装逻辑。先确认这三点是否到位,否则任何存储过程都是空中楼阁:

  • 目标字段(如 email)是否已有 NOT NULL 约束?没有的话,NULL = NULL 在 GROUP BY 或 PARTITION BY 中行为不一致,PG 和 SQL Server 处理方式就不同
  • 是否在非高峰时段执行?哪怕加了 TOP 1000 分批删,第一次运行也建议用 SELECT COUNT(*) 预估影响行数,而不是直接 DELETE
  • 是否留有恢复手段?例如提前 SELECT * INTO users_backup_20260804 FROM users,而不是依赖备份窗口

最常被忽略的点:ROW_NUMBER() OVER (PARTITION BY x ORDER BY y) 中的 y 字段如果没有索引,排序成本会随数据量平方增长——这个代价不会因放进存储过程而降低,只会更难定位。

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

火山引擎

火山引擎是一款面向企业的云计算与AI服务平台。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

AionClaw
AionClaw Hot

AionClaw是一款面向办公、创作和编程任务的AI桌面智能体。

Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

相关专题

更多
数据分析工具有哪些
数据分析工具有哪些

数据分析工具有Excel、SQL、Python、R、Tableau、Power BI、SAS、SPSS和MATLAB等。详细介绍:1、Excel,具有强大的计算和数据处理功能;2、SQL,可以进行数据查询、过滤、排序、聚合等操作;3、Python,拥有丰富的数据分析库;4、R,拥有丰富的统计分析库和图形库;5、Tableau,提供了直观易用的用户界面等等。

3883

2023.10.12

SQL中distinct的用法
SQL中distinct的用法

SQL中distinct的语法是“SELECT DISTINCT column1, column2,...,FROM table_name;”。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

831

2023.10.27

SQL中months_between使用方法
SQL中months_between使用方法

在SQL中,MONTHS_BETWEEN 是一个常见的函数,用于计算两个日期之间的月份差。想了解更多SQL的相关内容,可以阅读本专题下面的文章。

1009

2024.02.23

SQL出现5120错误解决方法
SQL出现5120错误解决方法

SQL Server错误5120是由于没有足够的权限来访问或操作指定的数据库或文件引起的。想了解更多sql错误的相关内容,可以阅读本专题下面的文章。

5721

2024.03.06

sql procedure语法错误解决方法
sql procedure语法错误解决方法

sql procedure语法错误解决办法:1、仔细检查错误消息;2、检查语法规则;3、检查括号和引号;4、检查变量和参数;5、检查关键字和函数;6、逐步调试;7、参考文档和示例。想了解更多语法错误的相关内容,可以阅读本专题下面的文章。

2663

2024.03.06

oracle数据库运行sql方法
oracle数据库运行sql方法

运行sql步骤包括:打开sql plus工具并连接到数据库。在提示符下输入sql语句。按enter键运行该语句。查看结果,错误消息或退出sql plus。想了解更多oracle数据库的相关内容,可以阅读本专题下面的文章。

5700

2024.04.07

sql中where的含义
sql中where的含义

sql中where子句用于从表中过滤数据,它基于指定条件选择特定的行。想了解更多where的相关内容,可以阅读本专题下面的文章。

7521

2024.04.29

sql中删除表的语句是什么
sql中删除表的语句是什么

sql中用于删除表的语句是drop table。语法为drop table table_name;该语句将永久删除指定表的表和数据。想了解更多sql的相关内容,可以阅读本专题下面的文章。

1030

2024.04.29

LLVM自定义Pass怎么写
LLVM自定义Pass怎么写

本专题聚焦LLVM自定义Pass开发,整理Pass类结构、run()方法、PreservedAnalyses、CMake构建、插件注册、-load-pass-plugin加载和测试用例编写流程。

0

2026.09.30

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn