讲师中心 微信公众号
AI工具推荐 视频效率加速

mysql如何进行全量数据迁移_使用mydumper并行导出导入

老涛小哥_2088

老涛小哥_2088

发布时间:2026-03-21 09:56:01

|

604人浏览过

|

来源于php中文网

原创

mydumper 比 mysqldump 快因默认按表并行导出及支持主键分片,而 mysqldump 单线程且整表锁表;导入需先建库建表,大库迁移须确保全为 InnoDB 表并合理设置参数。

mysql如何进行全量数据迁移_使用mydumper并行导出导入

mydumper 导出时为什么比 mysqldump 快得多

因为 mydumper 默认按表并行导出,还能按 WHERE 条件分片导出(比如按主键范围),而 mysqldump 是单线程、整表锁表(即使加 --single-transaction 也只对 InnoDB 有效,且无法拆分大表)。mydumper 的每个线程独占一个连接,互不阻塞。

实操建议:

  • 用 -t 控制线程数,一般设为 CPU 核数的 1.5–2 倍(如 8 核机器设 -t 12),太高反而因上下文切换和磁盘争抢拖慢速度
  • 务必加 --skip-tz-utc,否则时区转换可能让 datetime 字段错位
  • 避免用 --regex 匹配大量小表,会显著增加元数据扫描开销;不如直接用 -B db_name + -T table1,table2
  • 导出前确认源库 max_allowed_packet ≥ 256M,否则大 BLOB 字段可能截断,错误信息类似 MySQL server has gone away

导入时用 myloader 报 “Table doesn’t exist” 或死锁

这是最常见的坑:myloader 不建库不建表,它只导入数据。你得先手动执行 CREATE DATABASE,再用 mydumper 生成的 metadata 文件里的 CREATE TABLE 语句建好结构(或用 mydumper --no-data 单独导出 schema)。

实操建议:

  • 导入前跑一遍 mysql -u root -p -e "CREATE DATABASE IF NOT EXISTS target_db"
  • 用 cat ./export-20240501/backup.sql | mysql -u root -p target_db 先恢复 schema(注意路径别写错)
  • 导入时加 -d ./export-20240501 指定目录,别漏掉 -d;否则 myloader 会找不到 schema 和 data 子目录
  • 如果目标库已有同名表且含外键,先 SET FOREIGN_KEY_CHECKS=0 再导入,否则可能卡在约束检查上

如何安全迁移大库(>100GB)且不锁业务

核心是靠 mydumper 的一致性快照能力 —— 它依赖 START TRANSACTION WITH CONSISTENT SNAPSHOT,但前提是所有表都是 InnoDB。MyISAM 表会被单独加读锁,导致导出期间写入阻塞。

MySQL
MySQL

编写正确的MySQL查询,避免字符集、索引和锁方面的常见陷阱。

下载

实操建议:

  • 迁移前用 SELECT table_schema, table_name, engine FROM information_schema.tables WHERE table_schema = 'db_name' AND engine != 'InnoDB' 检查非 InnoDB 表
  • 对 MyISAM 表,要么提前转成 InnoDB(ALTER TABLE t ENGINE=InnoDB),要么用 --no-locks + --use-savepoints 降低锁粒度(但仍有风险)
  • 导出时加 --long-query-guard 60 防止长事务拖慢快照获取;加 --kill-long-queries 自动干掉超时查询(慎用,需确认业务可接受)
  • 导出后立刻校验 metadata 文件里的 Finished dump at: 时间戳,并与 SHOW MASTER STATUS 对比 binlog 位置,确保逻辑点一致

导入后发现主从延迟暴增或数据不一致

原因往往是 myloader 默认关闭唯一性检查和外键检查,但没关 autocommit,导致每条 INSERT 都是独立事务,极大放大 binlog 写入压力和从库回放负担。

实操建议:

  • 导入前在目标库执行 SET SESSION unique_checks=0, foreign_key_checks=0, autocommit=0(myloader 不自动设这些)
  • 导入完成后,手动 COMMIT 一次,再 SET SESSION unique_checks=1, foreign_key_checks=1
  • 用 myloader -d ./export -o(-o 表示只导入,不重建表结构),避免重复执行 DDL 影响 GTID 或复制过滤规则
  • 导入完立刻对比行数:SELECT table_name, table_rows FROM information_schema.tables WHERE table_schema='db_name',别只信 myloader 的 summary 输出

真正麻烦的是跨版本迁移(比如 MySQL 5.7 → 8.0),mydumper 生成的 SQL 可能含 8.0 不兼容语法(如隐藏索引注释),这时候得在导入前用 sed 过滤或降级导出版本。细节藏在 metadata 文件第一行,别跳过看。

热门AI工具

更多
WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

PixPix
PixPix Hot

PixPix是一款面向电商视觉生产的AI商品图生成工具。

火山引擎

火山引擎是一款面向企业的云计算与AI服务平台。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

Seko
Seko Hot

一款AI视频创作工具,主要用于商汤科技推出的创编一体的AI短视频创作Agent,适合需要提升相关任务效率的用户。

相关专题

更多
mysql修改数据表名
mysql修改数据表名

MySQL修改数据表:1、首先查看数据库中所有的表,代码为:‘SHOW TABLES;’;2、修改表名,代码为:‘ALTER TABLE 旧表名 RENAME [TO] 新表名;’。php中文网还提供MySQL的相关下载、相关课程等内容,供大家免费下载使用。

2293

2023.06.20

MySQL创建存储过程
MySQL创建存储过程

存储程序可以分为存储过程和函数,MySQL中创建存储过程和函数使用的语句分别为CREATE PROCEDURE和CREATE FUNCTION。使用CALL语句调用存储过程智能用输出变量返回值。函数可以从语句外调用(通过引用函数名),也能返回标量值。存储过程也可以调用其他存储过程。php中文网还提供MySQL创建存储过程的相关下载、相关课程等内容,供大家免费下载使用。

1399

2023.06.21

mongodb和mysql的区别
mongodb和mysql的区别

mongodb和mysql的区别:1、数据模型;2、查询语言;3、扩展性和性能;4、可靠性。本专题为大家提供mongodb和mysql的区别的相关的文章、下载、课程内容,供大家免费下载体验。

815

2023.07.18

mysql密码忘了怎么查看
mysql密码忘了怎么查看

MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS 应用软件之一。那么mysql密码忘了怎么办呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

3172

2023.07.19

mysql创建数据库
mysql创建数据库

MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS 应用软件之一。那么mysql怎么创建数据库呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

5388

2023.07.25

mysql默认事务隔离级别
mysql默认事务隔离级别

MySQL是一种广泛使用的关系型数据库管理系统,它支持事务处理。事务是一组数据库操作,它们作为一个逻辑单元被一起执行。为了保证事务的一致性和隔离性,MySQL提供了不同的事务隔离级别。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

1199

2023.08.08

sqlserver和mysql区别
sqlserver和mysql区别

SQL Server和MySQL是两种广泛使用的关系型数据库管理系统。它们具有相似的功能和用途,但在某些方面存在一些显著的区别。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

5651

2023.08.11

mysql忘记密码
mysql忘记密码

MySQL是一种关系型数据库管理系统,关系数据库将数据保存在不同的表中,而不是将所有数据放在一个大仓库内,这样就增加了速度并提高了灵活性。那么忘记mysql密码我们该怎么解决呢?php中文网给大家带来了相关的教程以及其他关于mysql的文章,欢迎大家前来学习阅读。

4942

2023.08.14

OpenJDK JVM参数怎么调优
OpenJDK JVM参数怎么调优

Java应用运行缓慢,如何调整JVM参数?本专题介绍OpenJDK JVM性能调优的基本流程,涵盖性能指标确认、运行数据采集、内存配置和垃圾回收分析,帮助你先定位瓶颈,再通过对照测试验证效果,避免直接套用参数而影响应用稳定性。

100

2026.10.16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL vs MySQL
PostgreSQL vs MySQL

共1课时 | 188人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn