mysqldump管道导入不支持断点,因其输出为单一流式SQL,无表级切分与位点标记;网络中断后无法定位已执行位置,重跑致主键冲突,跳过则漏数据,且--single-transaction仅保起点一致而非进度锚点。

跨云迁移 MySQL 时网络抖动中断,不能靠 mysqldump + mysql 管道重试,唯一可落地的断点续传方案是 mydumper + myloader --resume,且必须用 mydumper 导出、目标库提前建库、禁手动建表。
为什么 mysqldump 管道导入不支持断点
mysqldump 输出是单一流式 SQL,没有表级切分,也没有位点标记。网络抖动导致 mysql 客户端断连后,目标库可能已写入部分语句(比如某张表的前 10 万行),但你完全不知道卡在哪——重跑会主键冲突,跳过又怕漏数据。它不记录“导到哪了”,--single-transaction 只保证起点一致,不是进度锚点。
- 典型错误现象:
Duplicate entry 'xxx' for key 'PRIMARY'或Lost connection to MySQL server during query - 即使加了
--skip-extended-insert减少单语句长度,也无法解决断点定位问题 - 云环境(如阿里云 RDS)还常因缺失
REPLICATION CLIENT权限直接拒绝--single-transaction
myloader --resume 的真实行为和前提条件
myloader --resume 不是“智能续传”,它只做一件事:检查目标库中某张表是否存在且 information_schema.tables.table_rows > 0,就跳过该表。所以它依赖两个硬性前提:
- 导出必须用
mydumper,生成独立的db1/t1.sql、db1/t2.sql文件,以及metadata记录快照位点 - 目标库必须提前执行
CREATE DATABASE db1,但绝不能手动CREATE TABLE——否则myloader会误判为“已存在”,跳过建表和导入 - 导出时建议加
--chunk-filesize=64,防止单表 SQL 过大(尤其含 TEXT/BLOB 字段)导致导入中途 OOM 或超时
注意:--resume 不校验数据完整性,也不感知文件损坏。如果 t1.sql 最后一行 INSERT 缺少右括号,而目标库该表已有 1 行数据,myloader 会直接跳过,残缺数据永远进不去。
安装、修复、更新或打包一个基于 Python 和 PyMySQL 实现的 Windows `mysql` 命令。适用于用户希望在 PowerShell/CMD 中输入 `mysql` 时重定向到 Python 实现、需要交互式输入 MySQL 连接信息、需要同步到当前用户本地 bin 目录,或需要将该能力封装成可公开复用的 Codex skill。
中断后怎么准确定位卡在哪张表
别猜,直接比行数。中断发生后,先在源库执行读锁(FLUSH TABLES WITH READ LOCK),再分别查两端行数:
- 目标库批量查所有表当前行数:
ls /backup/db1/*.sql | sed 's/\.sql$//' | xargs -I{} mysql -h dst -Nse "SELECT COUNT(*) FROM db1.{}" - 源库查原始行数:
SELECT table_name, table_rows FROM information_schema.tables WHERE table_schema = 'db1' ORDER BY table_name
对比发现某张表目标端 COUNT(*) 明显偏少,且 myloader 日志里有 Skipping table t1 (non-empty) ——这就是危险信号:它误判了。此时必须手动删掉该表(DROP TABLE db1.t1),再重跑 myloader --resume。
跨云场景下必须同步调整的 MySQL 配置
跨云网络延迟高、抖动频繁,光靠工具不够,服务端配置必须调:
-
wait_timeout和interactive_timeout建议设为2147483(约 24.8 天),避免空闲连接被主动断开;迁移完记得改回合理值(如7200) -
max_allowed_packet至少设为512M,防止大 INSERT 被静默截断(mydumper默认启用压缩,但大文本字段仍可能溢出) - 源库
binlog_format必须为ROW,否则后续增量同步无法对齐;若要用 DRS 或 Canal 做后续增量,还得确认binlog_row_image=FULL
真正容易被忽略的是:跨云迁移不是“一次导完就结束”,而是全量 + 增量衔接的过程。myloader --resume 只管全量断点,一旦开始增量同步,位点就必须从 metadata 里的 mysql-bin.000042\t123456789 开始,而不是从目标库 SHOW MASTER STATUS 里随便抄一个。

















