讲师中心 微信公众号
AI工具推荐 视频效率加速

mysql如何利用mydumper/myloader实现极速搬迁_mysql并行迁移

落涛姑娘_2137

落涛姑娘_2137

发布时间:2026-03-11 11:33:43

|

896人浏览过

|

来源于php中文网

原创

mysql如何利用mydumper/myloader实现极速搬迁_mysql并行迁移

mydumper 为什么比 mysqldump 快得多

因为 mydumper 默认按表并行导出,还能拆分大表为多个 chunk(基于主键或唯一索引),每个 chunk 单独成文件、独立线程处理;而 mysqldump 是单线程全表扫描,锁表时间长、IO 和 CPU 都没法压满。

关键点在于:它不依赖 MySQL 的逻辑复制或 binlog,而是直接走 SELECT + 一致性快照(靠 FLUSH TABLES WITH READ LOCK 或 --no-locks + --use-savepoints 组合),所以对线上读写影响小得多。

  • 导出时默认启用 --threads=4,可手动调到 --threads=8 或更高,但别超过数据库 CPU 核数的 1.5 倍,否则争抢严重
  • 大表必须加 --chunk-filesize=64(单位 MB),否则单个 SQL 文件过大,myloader 导入时容易 OOM 或卡住
  • 跳过系统库要显式写 --regex='^(?!(mysql|sys|information_schema|performance_schema))',光靠 --skip-triggers 不管用

myloader 导入失败常见报错和对应解法

最常卡在 ERROR 1062 (23000) at line X: Duplicate entry '...' for key 'PRIMARY' —— 这不是数据重复,而是 myloader 并行导入时,多个线程同时 INSERT 同一张表的不同 chunk,触发了自增主键冲突或唯一约束竞争。

根本原因:目标库表结构里没关 AUTO_INCREMENT 或没清空自增计数器;或者源库导出时没带 --no-schemas,导致建表语句里的 AUTO_INCREMENT=xxx 被原样执行,覆盖了实际数据最大值。

  • 导入前先清空目标库:用 myloader --drop-if-exists,别手写 DROP DATABASE 再 CREATE,会丢掉字符集/排序规则
  • 确保导出时加了 --no-create-info(如果只导数据)或 --no-schemas(如果已有结构),避免建表语句干扰自增起点
  • 导入时强制指定线程数:myloader --threads=8 --database=testdb,别依赖默认值;线程数高于表数量时,空闲线程不干活,但不会报错

跨版本迁移时 mydumper/myloader 的兼容性雷区

mydumper 本身不校验 MySQL 版本,但它生成的 metadata 文件(metadata)里记录了 Started dump at: 和 Finished dump at: 时间戳,以及 SHOW MASTER STATUS 输出。如果源是 MySQL 8.0+,而目标是 5.7,myloader 会尝试还原 GTID 信息,直接报错 ERROR 1840 (HY000)。

MySQL8 CRM Schema Design Expert
MySQL8 CRM Schema Design Expert

面向 CRM 系统的 MySQL 8 数据库模式设计。当用户需要为客户关系管理(CRM)系统设计、评审、优化或生成数据库模式时,应使用此项技能。

下载

更隐蔽的问题是:MySQL 8.0 默认用 caching_sha2_password 认证插件,而旧版 myloader(v0.9.5 之前)不支持该协议,连接目标库时静默失败,日志只显示 “Connected to MySQL server” 然后卡住。

  • 导出端 MySQL 8.0+,务必加 --no-binlogs 和 --no-gtids,彻底绕过复制相关字段
  • 确认 myloader 版本 ≥ v0.10.0(GitHub release 页面查),低于此版本无法连 MySQL 8.0+ 的新认证方式
  • 目标库若为 5.7,建库时显式指定 CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci 会失败,得降级用 utf8mb4_unicode_ci

如何验证搬迁后数据完全一致

别信“没报错就是成功”。mydumper 的 chunk 拆分基于查询,如果某张表没主键/唯一索引,它会退化成全表一个 chunk,且不警告;而 myloader 对空 chunk 文件静默跳过,不会报错也不会提示。

最轻量可靠的验证方式,是比对每张表的 CHECKSUM TABLE 结果 —— 但注意:MySQL 5.7 开始 CHECKSUM TABLE 默认用哈希算法,不同版本或不同页大小下结果可能不一致;所以必须统一在目标库上跑。

  • 导出前,在源库执行:SELECT CONCAT('CHECKSUM TABLE ', table_schema, '.', table_name, ';') FROM information_schema.tables WHERE table_schema NOT IN ('mysql','sys','information_schema','performance_schema');,生成所有校验语句
  • 导入完成后,在目标库批量执行这些语句,把结果导出为 CSV,用 diff 对比源库同一批结果(注意去掉时间戳和行号)
  • 如果表太多,可用 pt-table-checksum 替代,但它要求主从环境或至少能连通两端,不如纯 SQL 方案直接

真正容易被忽略的是:mydumper 默认不导 event、function、procedure,除非加 --triggers --routines --events;这些对象缺失不会中断流程,但业务可能突然报错找不到存储过程。

热门AI工具

更多
WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

火山引擎

火山引擎是一款面向企业的云计算与AI服务平台。

墨刀AI
墨刀AI Hot

一款AI图像与设计工具,主要用于产品经理的专属智能体,适合需要提升相关任务效率的用户。

Seko
Seko Hot

一款AI视频创作工具,主要用于商汤科技推出的创编一体的AI短视频创作Agent,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

相关专题

更多
mysql修改数据表名
mysql修改数据表名

MySQL修改数据表:1、首先查看数据库中所有的表,代码为:‘SHOW TABLES;’;2、修改表名,代码为:‘ALTER TABLE 旧表名 RENAME [TO] 新表名;’。php中文网还提供MySQL的相关下载、相关课程等内容,供大家免费下载使用。

2493

2023.06.20

MySQL创建存储过程
MySQL创建存储过程

存储程序可以分为存储过程和函数,MySQL中创建存储过程和函数使用的语句分别为CREATE PROCEDURE和CREATE FUNCTION。使用CALL语句调用存储过程智能用输出变量返回值。函数可以从语句外调用(通过引用函数名),也能返回标量值。存储过程也可以调用其他存储过程。php中文网还提供MySQL创建存储过程的相关下载、相关课程等内容,供大家免费下载使用。

1499

2023.06.21

mongodb和mysql的区别
mongodb和mysql的区别

mongodb和mysql的区别:1、数据模型;2、查询语言;3、扩展性和性能;4、可靠性。本专题为大家提供mongodb和mysql的区别的相关的文章、下载、课程内容,供大家免费下载体验。

895

2023.07.18

mysql密码忘了怎么查看
mysql密码忘了怎么查看

MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS 应用软件之一。那么mysql密码忘了怎么办呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

3532

2023.07.19

mysql创建数据库
mysql创建数据库

MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS 应用软件之一。那么mysql怎么创建数据库呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

6108

2023.07.25

mysql默认事务隔离级别
mysql默认事务隔离级别

MySQL是一种广泛使用的关系型数据库管理系统,它支持事务处理。事务是一组数据库操作,它们作为一个逻辑单元被一起执行。为了保证事务的一致性和隔离性,MySQL提供了不同的事务隔离级别。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

1299

2023.08.08

sqlserver和mysql区别
sqlserver和mysql区别

SQL Server和MySQL是两种广泛使用的关系型数据库管理系统。它们具有相似的功能和用途,但在某些方面存在一些显著的区别。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

6371

2023.08.11

mysql忘记密码
mysql忘记密码

MySQL是一种关系型数据库管理系统,关系数据库将数据保存在不同的表中,而不是将所有数据放在一个大仓库内,这样就增加了速度并提高了灵活性。那么忘记mysql密码我们该怎么解决呢?php中文网给大家带来了相关的教程以及其他关于mysql的文章,欢迎大家前来学习阅读。

5482

2023.08.14

DBeaver怎么导入数据
DBeaver怎么导入数据

DBeaver数据导入专题,整理Excel、CSV、SQL、TXT等常见文件的数据导入方法,涵盖目标数据库选择、数据表创建、字段映射、数据类型设置及导入参数配置等操作,帮助用户将本地文件中的数据写入数据库,并了解批量导入、重复数据处理和导入失败等常见问题的解决方法。

0

2026.11.05

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL vs MySQL
PostgreSQL vs MySQL

共1课时 | 194人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn