讲师中心 微信公众号
AI工具推荐 视频效率加速

mysql如何迁移包含大对象BLOB的表_mysql大字段传输优化

阿静姑娘_2414

阿静姑娘_2414

发布时间:2026-03-24 11:16:51

|

464人浏览过

|

来源于php中文网

原创

mysqldump导出BLOB表卡住主因是默认文本模式逐行拼SQL致内存溢出或max_allowed_packet截断;应启用--hex-blob和--skip-extended-insert,或改用mydumper、分块HEX()导出及LOAD_FILE()导入。

mysql如何迁移包含大对象blob的表_mysql大字段传输优化

mysqldump 导出 BLOB 表时卡住或超时

导出含大 BLOB 的表,mysqldump 默认逐行拼接 SQL,遇到几十 MB 的单条记录会吃光内存、触发 OOM 或被 max_allowed_packet 截断,报错类似 MySQL server has gone away 或直接无响应。

关键不是“能不能导”,而是“怎么避免在客户端组装大 SQL”。必须关掉默认的文本模式,改用二进制流式导出:

  • 加 --hex-blob:把 BLOB 转成十六进制字符串,避免转义混乱和编码污染(尤其含二进制 NULL、换行)
  • 加 --skip-extended-insert:虽然会增大文件体积,但能防止单条 INSERT 过长被服务端拒绝;若数据量极大,可权衡改用 --tab 直接导出为文本文件
  • 调大本地参数:mysql --max-allowed-packet=1G 启动客户端,否则即使服务端设了 1G,客户端仍可能卡在 4MB 默认值

LOAD DATA INFILE 导入 BLOB 数据失败

LOAD DATA INFILE 本身不支持直接读取二进制 BLOB 字段——它只认文本格式。试图把原始图片/视频 dump 成 CSV 再 load,必然乱码或截断。

正确路径是绕过文本层,用 MySQL 的 LOAD_FILE() 函数配合预处理语句注入:

  • 确保目标表字段为 MEDIUMBLOB 或 LONGBLOB,且服务端配置 secure_file_priv 允许读取对应目录(查 SELECT @@secure_file_priv)
  • 导入语句示例:INSERT INTO docs (id, content) VALUES (123, LOAD_FILE('/var/lib/mysql-files/report.pdf'));
  • 注意:LOAD_FILE() 返回 NULL 多半是权限或路径问题,不是文件内容问题;文件必须由 MySQL 进程可读,不能是用户 home 目录下普通文件

mysqldump --tab 导出大 BLOB 表的实际效果

--tab 看似高效(生成 .sql + .txt 分离),但它对 BLOB 字段默认按字符方式转义写入 .txt,依然会破坏二进制完整性。除非你额外指定 --fields-terminated-by 和 --lines-terminated-by 并配合 HEX() 手动转换,否则不推荐。

MySQL
MySQL

编写正确的MySQL查询,避免字符集、索引和锁方面的常见陷阱。

下载

更稳妥的做法是放弃纯 SQL 迁移,改用逻辑复制工具或分块导出:

  • 用 SELECT id, HEX(content) FROM t WHERE id BETWEEN 1000 AND 2000 分批导出十六进制字符串,再用程序 decode 后插入新库
  • 若跨版本或跨云迁移,优先考虑 mydumper(支持多线程 + 自动切分 + BLOB 安全转义),比原生 mysqldump 更可靠
  • mydumper 的 --chunk-filesize 参数能强制按大小拆分,避免单文件过大导致网络传输中断

MySQL 8.0+ 的 data pump(mysqlpump)对 BLOB 支持如何

mysqlpump 是 MySQL 5.7+ 引入的并行导出工具,但它对 BLOB 的处理逻辑和 mysqldump 几乎一致,默认仍走文本序列化。唯一优势是能按表并行、支持压缩,但没解决核心的二进制安全问题。

真正要注意的是它的默认行为变化:

  • 默认开启 --compress,但压缩发生在客户端内存中,大 BLOB 反而更容易触发内存溢出
  • 不自动启用 --hex-blob,必须显式加上,否则导出的 BLOB 在非 UTF8mb4 环境下可能损坏
  • 它不支持 --tab 模式,所以无法像 mysqldump 那样“假装”绕过 SQL 层

迁移前务必验证目标库的 collation_connection 和源库一致,否则 HEX() 导出的字符串在导入时可能被错误重编码,解出来就是乱码。

热门AI工具

更多
豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

PixTV
PixTV Hot

PixTV是一款面向AIGC内容创作的AI视频生成工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

VibeKnow
VibeKnow Hot

一款AI视频创作工具,主要用于全球首个AI知识视频创作平台,文档、文章、网页,一键生成视频,适合需要提升相关任务效率的用户。

讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

相关专题

更多
mysql修改数据表名
mysql修改数据表名

MySQL修改数据表:1、首先查看数据库中所有的表,代码为:‘SHOW TABLES;’;2、修改表名,代码为:‘ALTER TABLE 旧表名 RENAME [TO] 新表名;’。php中文网还提供MySQL的相关下载、相关课程等内容,供大家免费下载使用。

2273

2023.06.20

MySQL创建存储过程
MySQL创建存储过程

存储程序可以分为存储过程和函数,MySQL中创建存储过程和函数使用的语句分别为CREATE PROCEDURE和CREATE FUNCTION。使用CALL语句调用存储过程智能用输出变量返回值。函数可以从语句外调用(通过引用函数名),也能返回标量值。存储过程也可以调用其他存储过程。php中文网还提供MySQL创建存储过程的相关下载、相关课程等内容,供大家免费下载使用。

1379

2023.06.21

mongodb和mysql的区别
mongodb和mysql的区别

mongodb和mysql的区别:1、数据模型;2、查询语言;3、扩展性和性能;4、可靠性。本专题为大家提供mongodb和mysql的区别的相关的文章、下载、课程内容,供大家免费下载体验。

815

2023.07.18

mysql密码忘了怎么查看
mysql密码忘了怎么查看

MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS 应用软件之一。那么mysql密码忘了怎么办呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

3132

2023.07.19

mysql创建数据库
mysql创建数据库

MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS 应用软件之一。那么mysql怎么创建数据库呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

5328

2023.07.25

mysql默认事务隔离级别
mysql默认事务隔离级别

MySQL是一种广泛使用的关系型数据库管理系统,它支持事务处理。事务是一组数据库操作,它们作为一个逻辑单元被一起执行。为了保证事务的一致性和隔离性,MySQL提供了不同的事务隔离级别。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

1179

2023.08.08

sqlserver和mysql区别
sqlserver和mysql区别

SQL Server和MySQL是两种广泛使用的关系型数据库管理系统。它们具有相似的功能和用途,但在某些方面存在一些显著的区别。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

5591

2023.08.11

mysql忘记密码
mysql忘记密码

MySQL是一种关系型数据库管理系统,关系数据库将数据保存在不同的表中,而不是将所有数据放在一个大仓库内,这样就增加了速度并提高了灵活性。那么忘记mysql密码我们该怎么解决呢?php中文网给大家带来了相关的教程以及其他关于mysql的文章,欢迎大家前来学习阅读。

4882

2023.08.14

OpenJDK JVM参数怎么调优
OpenJDK JVM参数怎么调优

Java应用运行缓慢,如何调整JVM参数?本专题介绍OpenJDK JVM性能调优的基本流程,涵盖性能指标确认、运行数据采集、内存配置和垃圾回收分析,帮助你先定位瓶颈,再通过对照测试验证效果,避免直接套用参数而影响应用稳定性。

60

2026.10.16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL vs MySQL
PostgreSQL vs MySQL

共1课时 | 188人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn