讲师中心 微信公众号
AI工具推荐 视频效率加速

如何导入带有大量BLOB二进制数据的SQL_分片导入与连接保持策略

云浩吖_9717

云浩吖_9717

发布时间:2026-06-11 10:04:07

|

141人浏览过

|

来源于php中文网

原创

根本原因是单条INSERT语句携带BLOB过大,超出max_allowed_packet限制或连接被服务端断开;需调大该参数、分片插入、手动重连、控制事务大小并匹配InnoDB日志配置。

分片导入时 BLOB 数据被截断或报错 MySQL server has gone away

根本原因是单条 insert 语句携带的 blob 过大,超出 max_allowed_packet 限制,或连接在长时间执行中被服务端主动断开。不是数据本身有问题,而是传输单元和连接生命周期不匹配。

  • 先查当前限制:SHOW VARIABLES LIKE 'max_allowed_packet';,生产环境建议设为 256M 或更高(需同步修改 MySQL 配置文件并重启)
  • 导入前显式设置会话级上限(如果权限允许):SET SESSION max_allowed_packet = 268435456;
  • 更可靠的做法是切分:按行数(如每 50 行)或按累积 BLOB 大小(如累计 LENGTH(blob_col) 超过 16MB 就切)生成独立 INSERT,避免单语句撑爆缓冲区
  • 别用 mysqldump 的 --skip-extended-insert 硬切——它只按行切,对大 BLOB 毫无帮助;要自己控制 INSERT 的字段组合与值批次

Python + pymysql 执行分片导入时连接意外中断

pymysql 默认不自动重连,且长事务中空闲超时(wait_timeout)会静默断连,下次 execute() 直接抛 OperationalError: (2013, 'Lost connection to MySQL server during query')。

  • 初始化连接时必须传 autocommit=False 和 ping=True(触发自动重连),但注意:仅对下一条命令生效,不能覆盖整个批量过程
  • 更稳妥的是手动 ping + 重试逻辑:每次分片前调用 conn.ping(reconnect=True),捕获 OperationalError 后重新建连再继续
  • 避免在循环里反复 commit()——BLOB 写入频繁提交会放大 I/O 压力;建议每 10–50 个分片 commit 一次,同时用 conn.begin() 显式控事务边界
  • 别依赖连接池(如 SQLAlchemy 的 QueuePool)自动处理超时:它的 recycle 参数对已建立但空闲的连接无效,仍需配合 ping

LOAD DATA INFILE 无法直接加载含 BLOB 的 CSV / TXT

LOAD DATA INFILE 不支持将文本中的十六进制或 base64 编码 BLOB 自动还原为二进制,它只会把那一长串字符当普通字符串插入,导致数据损坏。

  • 若源文件是文本格式(如 CSV),必须先用程序解码:读取字段值 → bytes.fromhex() 或 base64.b64decode() → 绑定为 bytearray 传给 cursor.execute()
  • 想走 LOAD DATA 加速?只能导出为 MySQL 原生二进制格式(如用 SELECT ... INTO DUMPFILE 配合 UNHEX()),但该方式不可移植、难调试,线上慎用
  • 注意字段分隔符冲突:BLOB 若含 \0、\n 或自定义分隔符,会导致 LOAD DATA 解析错位——此时必须放弃该方案,回归程序分片

事务大小与 InnoDB 日志空间的隐性冲突

大批量 BLOB 插入即使分片,若单次事务包含过多页修改,仍可能触发 innodb_log_file_size 不足,报错 ERROR 1114 (HY000): The table is full(实际是日志满,非磁盘满)。

  • 监控关键指标:SHOW ENGINE INNODB STATUS 中的 LOG 段,看 Log sequence number 与 Log flushed up to 差值是否持续接近 innodb_log_file_size * innodb_log_files_in_group
  • 降低单事务 BLOB 总量:例如把“每 50 行”改成“每 20 行”,或按 BLOB 累计大小硬限(如 sum(len(b)) < 4_000_000)
  • 避免在事务中混入大 UPDATE/DELETE:BLOB 写入本身就会产生大量 undo log,叠加其他操作极易冲垮日志空间
  • 这个瓶颈不会在开发机暴露——它高度依赖 innodb_log_file_size 配置和磁盘 I/O 延迟,压测时必须用同规格生产配置

事务边界、连接存活、日志容量这三者互相咬合,改一个参数常要同步调另外两个。最容易漏掉的是 innodb_log_file_size 和应用层重连逻辑的配合——光设了 ping=True,却没控制事务粒度,照样在第 37 片断连。

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

Seko
Seko Hot

一款AI视频创作工具,主要用于商汤科技推出的创编一体的AI短视频创作Agent,适合需要提升相关任务效率的用户。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

火山引擎

火山引擎是一款面向企业的云计算与AI服务平台。

超级简历WonderCV

一款AI办公效率工具,主要用于免费求职简历模版下载制作,应届生职场人必备简历制作神器,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

相关专题

更多
数据分析工具有哪些
数据分析工具有哪些

数据分析工具有Excel、SQL、Python、R、Tableau、Power BI、SAS、SPSS和MATLAB等。详细介绍:1、Excel,具有强大的计算和数据处理功能;2、SQL,可以进行数据查询、过滤、排序、聚合等操作;3、Python,拥有丰富的数据分析库;4、R,拥有丰富的统计分析库和图形库;5、Tableau,提供了直观易用的用户界面等等。

4363

2023.10.12

SQL中distinct的用法
SQL中distinct的用法

SQL中distinct的语法是“SELECT DISTINCT column1, column2,...,FROM table_name;”。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

911

2023.10.27

SQL中months_between使用方法
SQL中months_between使用方法

在SQL中,MONTHS_BETWEEN 是一个常见的函数,用于计算两个日期之间的月份差。想了解更多SQL的相关内容,可以阅读本专题下面的文章。

1129

2024.02.23

SQL出现5120错误解决方法
SQL出现5120错误解决方法

SQL Server错误5120是由于没有足够的权限来访问或操作指定的数据库或文件引起的。想了解更多sql错误的相关内容,可以阅读本专题下面的文章。

6281

2024.03.06

sql procedure语法错误解决方法
sql procedure语法错误解决方法

sql procedure语法错误解决办法:1、仔细检查错误消息;2、检查语法规则;3、检查括号和引号;4、检查变量和参数;5、检查关键字和函数;6、逐步调试;7、参考文档和示例。想了解更多语法错误的相关内容,可以阅读本专题下面的文章。

3103

2024.03.06

oracle数据库运行sql方法
oracle数据库运行sql方法

运行sql步骤包括:打开sql plus工具并连接到数据库。在提示符下输入sql语句。按enter键运行该语句。查看结果,错误消息或退出sql plus。想了解更多oracle数据库的相关内容,可以阅读本专题下面的文章。

6260

2024.04.07

sql中where的含义
sql中where的含义

sql中where子句用于从表中过滤数据,它基于指定条件选择特定的行。想了解更多where的相关内容,可以阅读本专题下面的文章。

8481

2024.04.29

sql中删除表的语句是什么
sql中删除表的语句是什么

sql中用于删除表的语句是drop table。语法为drop table table_name;该语句将永久删除指定表的表和数据。想了解更多sql的相关内容,可以阅读本专题下面的文章。

1150

2024.04.29

OpenJDK JVM参数怎么调优
OpenJDK JVM参数怎么调优

Java应用运行缓慢,如何调整JVM参数?本专题介绍OpenJDK JVM性能调优的基本流程,涵盖性能指标确认、运行数据采集、内存配置和垃圾回收分析,帮助你先定位瓶颈,再通过对照测试验证效果,避免直接套用参数而影响应用稳定性。

60

2026.10.16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn