讲师中心 微信公众号
AI工具推荐 视频效率加速

MySQL跨服务器迁移大量数据怎么做_利用mydumper并行导入导出

秋涛姑娘_5171

秋涛姑娘_5171

发布时间:2026-03-20 12:03:49

|

889人浏览过

|

来源于php中文网

原创

mydumper 比 mysqldump 快因其默认按表并行导出、支持大表分 chunk(基于主键或自增列),而 mysqldump 为单线程且全表锁;实操需注意锁策略、并发数、chunk 大小、空目录及 schema 导出。

mysql跨服务器迁移大量数据怎么做_利用mydumper并行导入导出

mydumper 导出时为什么比 mysqldump 快

因为 mydumper 默认按表并行导出,还能拆分大表为多个 chunk(基于主键或自增列),每个 chunk 单独写入文件;而 mysqldump 是单线程、全表锁(除非加 --single-transaction)、无法切片。

实操建议:

  • 导出前确认源库有全局读锁能力(FLUSH TABLES WITH READ LOCK)或启用 --no-locks + --single-transaction(仅适用 InnoDB)
  • 用 --threads=8 控制并发数,别盲目设太高——超过 CPU 核心数后 I/O 和锁争用反而拖慢
  • 大表导出务必加 --chunk-filesize=64(单位 MB),避免单个 SQL 文件过大导致导入失败或内存溢出
  • 导出目录必须为空,mydumper 不会覆盖同名文件,而是直接报错 Directory not empty

myloader 导入时报错 “Unknown database” 或 “Table doesn’t exist”

这是路径或元数据不匹配的典型表现:不是数据丢了,是 myloader 没找到对应 schema 或没执行建库建表语句。

实操建议:

  • 确保导出时用了 --compress 就得用 --compress-protocol 导入,否则协议不匹配会静默跳过部分文件
  • 导入前手动创建目标库:CREATE DATABASE IF NOT EXISTS <code>target_db,myloader 默认不自动建库
  • 检查导出目录下是否有 metadata 文件和 target_db.create.sql —— 如果没有,说明导出时漏了 --schema 参数
  • 导入命令必须指定库名:myloader --directory=./dump --database=target_db --threads=8,不能只写路径

跨服务器迁移时网络中断或导入卡住怎么续传

mydumper/myloader 本身不支持断点续传,但可以通过文件粒度+状态标记来模拟。

MySQL8 CRM Schema Design Expert
MySQL8 CRM Schema Design Expert

面向 CRM 系统的 MySQL 8 数据库模式设计。当用户需要为客户关系管理(CRM)系统设计、评审、优化或生成数据库模式时,应使用此项技能。

下载

实操建议:

  • 导出用 --outputdir 指定绝对路径,并记录最后完成的表名(看 metadata 文件里的 Finished dump at: 时间戳)
  • 导入前先 ls -1 ./dump/*.sql | grep -v "\.create\.sql" | wc -l 统计总表数,再用 mysql -e "SHOW TABLES IN target_db" 查已存在表,差集即为待补表
  • 对未完成的表,单独用 myloader --database=target_db --table=xxx --directory=./dump 补导,注意加 --overwrite-tables(否则跳过)
  • 别依赖 --resume —— 这是旧版 mydumper 的实验性参数,新版已移除,文档里也明确写了 “not reliable”

导入后数据量对不上,count(*) 差几万行

常见于含 TEXT/BLOB 字段的表,或字符集转换异常(比如源库是 utf8mb4,目标库默认 latin1),导致部分行写入失败但无报错。

实操建议:

  • 导入后立刻查 myloader 输出末尾的 summary 行,重点关注 Loaded data 和 Skipped tables 数字,不是所有跳过都会打 warning
  • 对比源/目标库的 information_schema.TABLES 中 TABLE_ROWS —— 这个值不准,改用 SELECT COUNT(*) FROM table_name 实测
  • 开 --verbose=3 重新导入一次,捕获日志里类似 Query failed (1366): Incorrect string value 的错误
  • 目标库初始化时就指定字符集:CREATE DATABASE target_db CHARACTER SET = utf8mb4 COLLATE = utf8mb4_unicode_ci

真正麻烦的是外键约束和触发器——它们不会被 mydumper 自动禁用,导入中途失败可能导致部分表数据写入、部分没写,且没回滚。动手前先 SET FOREIGN_KEY_CHECKS=0 和 SET SQL_LOG_BIN=0,这些得在导入前手动执行。

热门AI工具

更多
讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

PixTV
PixTV Hot

PixTV是一款面向AIGC内容创作的AI视频生成工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

Seko
Seko Hot

一款AI视频创作工具,主要用于商汤科技推出的创编一体的AI短视频创作Agent,适合需要提升相关任务效率的用户。

Flowith
Flowith Hot

Flowith是一款基于画布和智能体工作流的 AI 协作工作空间。

墨刀AI
墨刀AI Hot

一款AI图像与设计工具,主要用于产品经理的专属智能体,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

相关专题

更多
大数据分析工具有哪四个
大数据分析工具有哪四个

大数据分析的四个工具分别是rapidminer、Hpcc、Hadoop和Pentaho bi。大数据分析用于从各种来源生成的原始数据中提取有价值的数据。这些数据帮助我们获得有意义的见解、隐藏的模式、未知的相关性、市场趋势等等,具体取决于行业。大数据分析的主要动机是提供有价值的见解,以便为未来做出更好的决策。php中文网为大家带来了大数据分析的相关教程、以及相关文章等内容,供大家免费下载使用。

5976

2023.06.21

Java 大数据处理基础(Hadoop 方向)
Java 大数据处理基础(Hadoop 方向)

本专题聚焦 Java 在大数据离线处理场景中的核心应用,系统讲解 Hadoop 生态的基本原理、HDFS 文件系统操作、MapReduce 编程模型、作业优化策略以及常见数据处理流程。通过实际示例(如日志分析、批处理任务),帮助学习者掌握使用 Java 构建高效大数据处理程序的完整方法。

1269

2025.12.08

大数据专业学习教程
大数据专业学习教程

本专题整合了大数据专业学习相关教程,阅读专题下面的文章了解更多详细内容。

243

2026.01.05

python处理大数据合集
python处理大数据合集

本专题整合了python处理大数据相关教程,阅读专题下面的文章了解更多详细内容。

526

2026.01.05

服务器是什么
服务器是什么

服务器是一种计算机硬件设备或软件程序,它具有强大的计算和存储能力,用请求、存储数据和提供服务。它在互联网中着关重要的作用,为用户提供各种服务和资源。本专题为大家提供服务器相关的文章、下载、课程内容,供大家免费下载体验。

457

2023.08.15

连接apple id服务器时出错
连接apple id服务器时出错

连接apple id服务器时出错的原因包括网络连接问题、服务器问题、Apple ID账户问题、设备问题、防火墙或安全软件问题、时间和日期设置问题、Apple服务器维护等。本专题为大家提供apple id相关的文章、下载、课程内容,供大家免费下载体验。

980

2023.09.08

搭建互联网服务器
搭建互联网服务器

搭建互联网服务器需要:1、选择合适的硬件和操作系统,第一步是选择合适的硬件和操作系统;2、安装和配置操作系统,是搭建互联网服务器的关键步骤;3、安装和配置服务器软件,是搭建互联网服务器的下一步,常见的服务器软件包括Apache、Nginx、Tomcat等;4、配置防火墙和安全性,是搭建互联网服务器的重要步骤;5、域名解析和配置,是搭建互联网服务器的最后一步。

3372

2023.09.19

如何查看服务器状态
如何查看服务器状态

查看服务器状态的方法有使用命令行工具、图形界面工具、监控工具、日志文件和远程管理工具等。本专题为大家提供服务器状态相关的文章、下载、课程内容,供大家免费下载体验。

1116

2023.10.09

Docker Desktop怎么设置端口映射
Docker Desktop怎么设置端口映射

本专题聚焦Docker Desktop容器端口映射与访问配置,整理从创建容器、设置端口绑定到验证本地服务访问的操作流程。针对端口被占用、映射配置错误、容器服务无法访问等情况,也提供相应的检查方向,方便用户完成端口配置。

0

2026.11.03

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL vs MySQL
PostgreSQL vs MySQL

共1课时 | 194人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn