讲师中心 微信公众号
AI工具推荐 视频效率加速

怎样在SQL中高效迁移大表数据并删除归档数据

陌枫小哥_6806

陌枫小哥_6806

发布时间:2026-09-25 07:18:27

|

508人浏览过

|

来源于php中文网

原创

结论:禁用单条INSERT...SELECT+DELETE大事务,必须分批、带校验、有熔断;推荐pt-archiver或SQL Server分区SWITCH,自建脚本须严守时间窗口、行数校验与底线条件。

怎样在sql中高效迁移大表数据并删除归档数据

直接说结论:别用单条 INSERT ... SELECT + DELETE 大事务干这事,90% 的锁表、超时、主从延迟都源于此。必须分批、带校验、有熔断。

为什么不能用大事务一次性迁移删除

MySQL 的 DELETE 和 INSERT ... SELECT 在无索引时间字段上会全表扫描;即使有索引,单次操作百万行也会撑爆 innodb_buffer_pool、触发长事务等待、拖垮 binlog 同步。更危险的是:一旦中间失败(比如磁盘满、网络抖动),你既没迁完也没删干净,状态不可逆。

  • EXPLAIN 必须确认 WHERE 条件走了索引,否则先加索引再动手
  • 单次操作行数超过 5 万,max_allowed_packet 和 innodb_lock_wait_timeout 极易被击穿
  • 主从架构下,大事务在从库回放时会卡住整个 SQL 线程,延迟飙升

用 pt-archiver 分批归档最省心

它本质是 Perl 脚本封装的“查→插→删→休眠→重试”闭环,天然规避大事务风险,且支持跨实例归档。生产环境首选,不用自己写存储过程踩坑。

  • 命令示例:pt-archiver --source h=prod-db,P=3306,u=dba,p=xxx,D=orders,t=order_log --dest h=archive-db,P=3307,u=dba,p=xxx,D=archive,t=order_log_archive --where "create_time < '2024-01-01'" --limit 10000 --sleep 0.1 --progress 10000 --statistics
  • --limit 控制每批处理行数,--sleep 防止 IO 冲击,--progress 实时打点
  • 失败自动重试,默认最多 3 次;加 --dry-run 可预演不真删
  • 注意:源库和归档库不能是主从关系,否则归档写入会干扰复制流

自定义脚本必须带原子校验和边界防护

如果因合规或权限限制不能用第三方工具,自己写脚本也得守住底线:每次只搬固定时间窗口(如一天)、插入后立刻比对行数、删前再查一遍、保留底线条件。

  • 先查源表待归档量:SELECT COUNT(*) FROM orders WHERE create_time < '2024-01-01' AND create_time >= '2023-12-01'
  • 插入时加 LIMIT 和时间范围:INSERT INTO archive.orders SELECT * FROM orders WHERE create_time < '2024-01-01' AND create_time >= '2023-12-01' LIMIT 10000
  • 插入后立刻 SELECT ROW_COUNT(),若为 0 则退出;若不等于预期,中止后续 DELETE
  • 删之前再执行一次 SELECT COUNT(*),确保数据未被业务新写入;DELETE 语句必须含相同时间范围 + LIMIT
  • 硬编码保留底线:AND create_time > '2022-01-01',防止误删核心历史

SQL Server 分区切换是唯一真正秒级方案

如果你用的是 SQL Server 且表已分区,SWITCH 是唯一能避开锁表、日志爆炸、事务膨胀的归档方式——它只是改指针,不碰数据本身。

  • 前提严苛:源表与归档表结构、索引、约束、填充因子、文件组必须完全一致
  • 切换前务必验证分区边界:SELECT $PARTITION.pf_DateRange(create_time) AS pnum, COUNT(*) FROM orders GROUP BY $PARTITION.pf_DateRange(create_time)
  • 典型操作链:CREATE TABLE orders_archive_2023 (...) ON [FG_ARCHIVE] → ALTER TABLE orders SWITCH PARTITION 3 TO orders_archive_2023 → DROP TABLE orders_archive_2023
  • 注意:SWITCH 不触发触发器、不记完整日志、无法回滚,操作前必须备份该分区

最常被忽略的一点:归档不是迁移完就结束。归档表要立刻设为只读,原表对应字段补上 COMMENT 'archived after 2024-06',且每月必须检查归档任务日志里单次耗时是否突增——那往往意味着索引失效或数据倾斜开始发生。

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
LibLibAI
LibLibAI Hot

一款AI视频创作工具,主要用于国内领先的AI创意平台,以海量模型、低门槛操作与“创作-分享-商业化”生态,让小白与专业创作者都能高效实现图文乃至视频创意表达,适合需要提升相关任务效率的用户。

音述AI
音述AI Hot

一款AI音频处理工具,主要用于音述AI是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区,适合需要提升相关任务效率的用户。

超级简历WonderCV

一款AI办公效率工具,主要用于免费求职简历模版下载制作,应届生职场人必备简历制作神器,适合需要提升相关任务效率的用户。

Seko
Seko Hot

一款AI视频创作工具,主要用于商汤科技推出的创编一体的AI短视频创作Agent,适合需要提升相关任务效率的用户。

墨刀AI
墨刀AI Hot

一款AI图像与设计工具,主要用于产品经理的专属智能体,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

相关专题

更多
mysql修改数据表名
mysql修改数据表名

MySQL修改数据表:1、首先查看数据库中所有的表,代码为:‘SHOW TABLES;’;2、修改表名,代码为:‘ALTER TABLE 旧表名 RENAME [TO] 新表名;’。php中文网还提供MySQL的相关下载、相关课程等内容,供大家免费下载使用。

1993

2023.06.20

MySQL创建存储过程
MySQL创建存储过程

存储程序可以分为存储过程和函数,MySQL中创建存储过程和函数使用的语句分别为CREATE PROCEDURE和CREATE FUNCTION。使用CALL语句调用存储过程智能用输出变量返回值。函数可以从语句外调用(通过引用函数名),也能返回标量值。存储过程也可以调用其他存储过程。php中文网还提供MySQL创建存储过程的相关下载、相关课程等内容,供大家免费下载使用。

1219

2023.06.21

mongodb和mysql的区别
mongodb和mysql的区别

mongodb和mysql的区别:1、数据模型;2、查询语言;3、扩展性和性能;4、可靠性。本专题为大家提供mongodb和mysql的区别的相关的文章、下载、课程内容,供大家免费下载体验。

715

2023.07.18

mysql密码忘了怎么查看
mysql密码忘了怎么查看

MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS 应用软件之一。那么mysql密码忘了怎么办呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2612

2023.07.19

mysql创建数据库
mysql创建数据库

MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS 应用软件之一。那么mysql怎么创建数据库呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

4308

2023.07.25

mysql默认事务隔离级别
mysql默认事务隔离级别

MySQL是一种广泛使用的关系型数据库管理系统,它支持事务处理。事务是一组数据库操作,它们作为一个逻辑单元被一起执行。为了保证事务的一致性和隔离性,MySQL提供了不同的事务隔离级别。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

1019

2023.08.08

sqlserver和mysql区别
sqlserver和mysql区别

SQL Server和MySQL是两种广泛使用的关系型数据库管理系统。它们具有相似的功能和用途,但在某些方面存在一些显著的区别。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

4571

2023.08.11

mysql忘记密码
mysql忘记密码

MySQL是一种关系型数据库管理系统,关系数据库将数据保存在不同的表中,而不是将所有数据放在一个大仓库内,这样就增加了速度并提高了灵活性。那么忘记mysql密码我们该怎么解决呢?php中文网给大家带来了相关的教程以及其他关于mysql的文章,欢迎大家前来学习阅读。

4102

2023.08.14

Buffalo框架数据库开发全教程
Buffalo框架数据库开发全教程

本专题围绕Buffalo框架数据库开发,讲解database.yml多环境配置、soda与fizz迁移生成回滚、模型结构体标签、增删改查与条件查询、一对多与多对多关联、数据校验、回调钩子、事务处理及原生SQL执行能力。

120

2026.09.23

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn