讲师中心 微信公众号

工具推荐

视频效率加速
SoundView
SoundView

字幕擦除翻译、配音口型同步

Laper
Laper

剧本策划到成片协作

AniShort
AniShort

AI短剧协同制作平台

Seko
Seko

AI短剧一键生成成片

生产环境中如何平滑进行MySQL大表数据归档以减轻在线库负担?

落敏君_1069

落敏君_1069

发布时间:2026-11-22 07:04:02

|

406人浏览过

|

来源于php中文网

原创

真正能落地的归档必须满足不锁主表、不压垮从库、可中断可重试;推荐分区表+EVENT自动交换旧分区,毫秒级零锁表,但需确保结构一致且分区键为索引前缀。

生产环境中如何平滑进行mysql大表数据归档以减轻在线库负担?

直接用 DELETE 一次性删几百万行,基本等于给线上服务埋雷——锁表、主从延迟飙升、慢查询暴增、甚至触发 Lock wait timeout exceeded。真正能落地的归档,必须满足三个条件:不锁主表、不压垮从库、可中断可重试。

为什么不能直接 INSERT + DELETE 大批量操作

很多人第一反应是写个存储过程,INSERT INTO archive_table SELECT ... FROM main_table WHERE time 再 <code>DELETE FROM main_table WHERE ...。这在测试库跑得飞快,一上生产就出事。

  • 事务过大:InnoDB 的 undo log 和 binlog 会暴涨,purge 线程跟不上,导致 INFORMATION_SCHEMA.INNODB_TRX 里长期挂着未提交事务
  • 索引维护开销翻倍:每删一行,所有二级索引都要更新;数据越分散,随机 IO 越严重(2 亿行订单表删半年数据,实际要遍历上百个 B+ 树叶子页)
  • 主从复制雪崩:单条 DELETE 语句生成超大 binlog event,从库 SQL 线程卡死,延迟从分钟级跳到小时级
  • 没断点记录:中途失败(比如磁盘满、网络抖动),无法知道“删到哪了”,重跑可能重复归档或漏数据

pt-archiver 是目前最可控的归档工具

pt-archiver 不是“一键归档”,而是把整个过程拆成可控的原子单元:查一批、插一批、删一批、休眠一下。它默认按主键顺序扫描,天然规避数据跳跃访问问题,且能精准控制资源占用。

win可用的mysql指令skill
win可用的mysql指令skill

安装、修复、更新或打包一个基于 Python 和 PyMySQL 实现的 Windows `mysql` 命令。适用于用户希望在 PowerShell/CMD 中输入 `mysql` 时重定向到 Python 实现、需要交互式输入 MySQL 连接信息、需要同步到当前用户本地 bin 目录,或需要将该能力封装成可公开复用的 Codex skill。

下载
  • 必须确保源表有主键或唯一非空索引,否则会报错 Cannot find a good index to use
  • 关键参数组合:--limit 5000 --txn-size 5000 --sleep 0.3 --progress 10000,意思是每次查/插/删 5000 行,每批独立事务,处理完休眠 300ms,每万行打一次进度日志
  • 归档到远端库时,加 --dest h=10.73.129.188,P=3306,u=archiver,...,临时文件生成在执行命令的本地机器,不走源库磁盘 IO
  • 如果只想清理不归档,用 --purge 参数即可,逻辑完全一致,只是跳过插入步骤

归档表结构设计直接影响后续可查性

别直接 CREATE TABLE archive_log LIKE log 就完事。归档表不是备份镜像,而是为“低频但必须能查”服务的。

  • 删掉所有唯一索引和外键约束:归档数据不参与业务写入,这些索引纯属拖慢 INSERT 速度
  • 保留一个复合索引:比如原表按 create_time 查询多,就建 INDEX idx_time_type (create_time, type),别建单列 create_time 索引(范围查询效率差)
  • 务必加 archive_time TIMESTAMP DEFAULT CURRENT_TIMESTAMP 字段,否则未来根本分不清这批数据是哪次归档的
  • 超大归档表(>5000 万行)建议按年分区:PARTITION BY RANGE (YEAR(create_time)),查某年数据时 MySQL 能自动裁剪分区

事件调度器 + 分区表适合长期稳定场景

如果业务数据天然按时间滚动(如日志、监控、IoT 采集),优先考虑分区表 + EVENT 组合,比脚本更轻量、更可靠。

  • 先用 ALTER TABLE log PARTITION BY RANGE COLUMNS(create_time) (...) 按月建好分区,旧分区(如 p_202401)可直接 ALTER TABLE log EXCHANGE PARTITION p_202401 WITH TABLE log_archive_202401,毫秒级完成,零锁表
  • 配合 EVENT 每月 1 号凌晨自动执行分区交换 + TRUNCATE PARTITION,不用写任何 SQL 逻辑
  • 注意:分区键必须是索引前缀字段,否则建分区会失败;且 EXCHANGE PARTITION 要求两张表结构、索引、字符集完全一致
  • 首次切换前,用 SELECT COUNT(*) 对比源分区和归档表行数,避免因 NO_ZERO_DATE 等 SQL mode 导致数据丢失

真正容易被忽略的,是归档后的查询链路。很多团队归档成功就收工,结果业务方查历史数据时发现视图没更新、应用连接串没切、甚至归档表没加只读权限——最后还是连到主库去扫全表。归档不是迁移动作的结束,而是新查询路径的开始。

热门AI工具

更多
咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

花生AI
花生AI Hot

一款AI视频创作工具,主要用于B站推出的AI视频创作工具,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

SoundView
SoundView Hot

SoundView是一款面向跨境电商的视频翻译、配音和本地化 AI 创作平台。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

讯飞智文

一款面向学习和办公场景的AI文档创作工具,可辅助生成PPT与Word文档,提高资料整理和内容制作效率。

相关专题

更多
mysql修改数据表名
mysql修改数据表名

MySQL修改数据表:1、首先查看数据库中所有的表,代码为:‘SHOW TABLES;’;2、修改表名,代码为:‘ALTER TABLE 旧表名 RENAME [TO] 新表名;’。php中文网还提供MySQL的相关下载、相关课程等内容,供大家免费下载使用。

2713

2023.06.20

MySQL创建存储过程
MySQL创建存储过程

存储程序可以分为存储过程和函数,MySQL中创建存储过程和函数使用的语句分别为CREATE PROCEDURE和CREATE FUNCTION。使用CALL语句调用存储过程智能用输出变量返回值。函数可以从语句外调用(通过引用函数名),也能返回标量值。存储过程也可以调用其他存储过程。php中文网还提供MySQL创建存储过程的相关下载、相关课程等内容,供大家免费下载使用。

1619

2023.06.21

mongodb和mysql的区别
mongodb和mysql的区别

mongodb和mysql的区别:1、数据模型;2、查询语言;3、扩展性和性能;4、可靠性。本专题为大家提供mongodb和mysql的区别的相关的文章、下载、课程内容,供大家免费下载体验。

955

2023.07.18

mysql密码忘了怎么查看
mysql密码忘了怎么查看

MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS 应用软件之一。那么mysql密码忘了怎么办呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

3912

2023.07.19

mysql创建数据库
mysql创建数据库

MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS 应用软件之一。那么mysql怎么创建数据库呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

6868

2023.07.25

mysql默认事务隔离级别
mysql默认事务隔离级别

MySQL是一种广泛使用的关系型数据库管理系统,它支持事务处理。事务是一组数据库操作,它们作为一个逻辑单元被一起执行。为了保证事务的一致性和隔离性,MySQL提供了不同的事务隔离级别。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

1419

2023.08.08

sqlserver和mysql区别
sqlserver和mysql区别

SQL Server和MySQL是两种广泛使用的关系型数据库管理系统。它们具有相似的功能和用途,但在某些方面存在一些显著的区别。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

7151

2023.08.11

mysql忘记密码
mysql忘记密码

MySQL是一种关系型数据库管理系统,关系数据库将数据保存在不同的表中,而不是将所有数据放在一个大仓库内,这样就增加了速度并提高了灵活性。那么忘记mysql密码我们该怎么解决呢?php中文网给大家带来了相关的教程以及其他关于mysql的文章,欢迎大家前来学习阅读。

6062

2023.08.14

Navicat创建数据库教程
Navicat创建数据库教程

本专题整理Navicat创建数据库相关教程,介绍新建前的准备、基础设置和创建后的检查方法。内容兼顾入门学习及实际使用需求,帮助用户了解不同数据库类型下的操作差异,为后续建表、保存数据和日常管理提供参考。

0

2026.11.20

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn