迁移大表数据需分批处理以降低影响，优先选用mysqldump分段导出、SELECT INTO OUTFILE结合LOAD DATA INFILE提升速度，或用pt-archiver实现低负载迁移，超大表可采影子表+双写方案确保不停服，全程避免锁表并监控资源。

迁移 MySQL 中的大表数据需要兼顾效率、稳定性和对线上服务的影响。直接使用常规的 INSERT 或 mysqldump 可能会导致锁表时间长、网络压力大或执行失败。以下是几种实用的方法和最佳实践。

1. 使用 mysqldump 分批导出导入

适合跨服务器迁移，尤其是数据量在几 GB 到上百 GB 的场景。

操作建议：

• 使用 --where 参数分批导出，避免一次性加载全部数据
• 加上 --single-transaction 避免锁表（适用于 InnoDB）
• 禁用外键检查和唯一索引校验提升导入速度

示例命令：

mysqldump -u user -p db_name big_table --single-transaction \
  --where="id >= 1000000 AND id < 2000000" > part2.sql
<p>mysql -u user -p target_db < part2.sql</p>

导入前可执行：

SET unique_checks=0;
SET foreign_key_checks=0;
SET autocommit=0;

2. 使用 SELECT ... INTO OUTFILE 和 LOAD DATA INFILE

这是最快的数据导出导入方式，适合同机或局域网内迁移。

Csv Brain

加载CSV文件，使用自然语言（英文）提问。通过Anthropic、OpenAI或本地Ollama实现AI驱动的自然语言查询，无需SQL。

下载

关键点：

• SELECT ... INTO OUTFILE 将数据保存为文本文件
• LOAD DATA INFILE 快速加载到目标表
• 需确保 MySQL 有文件读写权限且路径正确

示例：

-- 导出
SELECT * FROM big_table 
WHERE id BETWEEN 1000000 AND 1999999 
INTO OUTFILE '/tmp/big_table_part2.csv'
FIELDS TERMINATED BY ',' ENCLOSED BY '"'
LINES TERMINATED BY '\n';
<p>-- 导入
LOAD DATA INFILE '/tmp/big_table_part2.csv'
INTO TABLE target_big_table
FIELDS TERMINATED BY ',' ENCLOSED BY '"'
LINES TERMINATED BY '\n';</p>

3. 使用 pt-archiver 工具分批迁移

Percona Toolkit 中的 pt-archiver 支持高效、低影响地迁移或归档大表数据。

优势：

• 自动分批处理，减少锁时间和内存占用
• 支持迁移同时删除源数据（归档场景）
• 可指定条件过滤迁移部分数据

示例：将数据从源表迁移到远程库

pt-archiver \
--source h=localhost,D=mydb,t=big_table \
--dest h=remote_host,D=mydb,t=big_table \
--where "create_time < '2023-01-01'" \
--limit 10000 \
--commit-each \
--progress 10000

4. 在线DDL与影子表迁移（大数据量 + 不停服）

对于超大表（TB级），推荐使用“影子表”方式逐步迁移，避免长时间锁表。

步骤：

• 创建结构相同的目标表（如 big_table_new）
• 用脚本或工具分批将数据从原表复制过去
• 使用触发器或应用层双写保证增量同步
• 切换应用指向新表，重命名表完成迁移

也可结合 gh-ost 或 pt-online-schema-change 实现无锁变更，这些工具内部采用类似机制。

基本上就这些方法。选择哪种取决于你的数据量、停机窗口、网络环境和是否允许短暂性能下降。关键是避免一次性操作，始终分批处理，监控资源使用。不复杂但容易忽略细节。