讲师中心 微信公众号
AI工具推荐 视频效率加速

MySQL执行大批量插入时,存储引擎层是如何进行处理的?

夏雪大大_3377

夏雪大大_3377

发布时间:2026-07-05 06:27:07

|

853人浏览过

|

来源于php中文网

原创

InnoDB插入慢因事务日志、行锁、undo log和buffer pool压力;MyISAM快但无事务、表锁、易损坏;MySQL 9.6.0将外键移至SQL层提升性能。

mysql执行大批量插入时,存储引擎层是如何进行处理的?

InnoDB 和 MyISAM 对大批量插入的底层处理逻辑完全不同,这不是“写法问题”,而是引擎层事务模型、日志机制和锁策略的根本差异。

为什么 InnoDB 插入慢?关键在事务日志与缓冲区压力

InnoDB 默认开启事务,每条 INSERT(或每批未显式事务包裹的语句)都会触发:redo log 刷盘(若 innodb_flush_log_at_trx_commit = 1)、行锁申请、undo log 记录、buffer pool 页面加载与脏页管理。批量插入百万行时,这些开销不是线性增长,而是呈指数级放大——尤其当单事务吞下全部数据时,undo log 可能撑爆 ibdata1,buffer pool 频繁驱逐热页,主从延迟飙升。

  • 没加 START TRANSACTION → 每行一个事务 → redo 刷盘次数 = 行数
  • 用 INSERT INTO ... SELECT 且无索引过滤 → 全表扫描 + 大范围行锁 → 锁等待超时常见报错:Lock wait timeout exceeded
  • 批量大小超过 max_allowed_packet → 直接报错:Packets larger than max_allowed_packet are not allowed

为什么 MyISAM 插入快?但代价是事务裸奔

MyISAM 不支持事务,没有 redo/undo 日志,插入就是直接写数据文件(.MYD)+ 更新索引文件(.MYI)。它靠表级锁(CONCURRENT INSERT 仅限尾部追加)简化了并发控制,所以批量插入时吞吐高——实测 20 万行插入,MyISAM 耗时约 9 分钟,InnoDB 同配置下可能超 3 小时。

MySQL
MySQL

编写正确的MySQL查询,避免字符集、索引和锁方面的常见陷阱。

下载
  • 不校验外键、不维护事务一致性 → 插入中途崩溃,数据可能处于半截状态,无法回滚
  • 表锁期间所有写操作阻塞 → 并发写场景下实际吞吐未必高
  • 大量插入后 REPAIR TABLE 频发 → 磁盘损坏或断电易导致索引/数据文件不一致

MySQL 9.6.0 的变化:外键上移 SQL 层,InnoDB 更“轻”了

2026 年发布的 MySQL 9.6.0 把外键约束和级联操作从 InnoDB 引擎层移到 SQL 层执行。这意味着:大批量插入时,引擎不再为每行做外键检查(以前是引擎内硬校验),SQL 层统一拦截并记录到 binlog。性能提升明显,尤其在含外键的表上——但你得确认目标环境真是这个版本,否则旧版仍按传统路径走。

  • 升级前务必验证:SELECT VERSION(); 返回是否为 9.6.0
  • 即使版本达标,foreign_key_checks = 0 在导入阶段仍建议手动关闭,避免 SQL 层重复校验
  • container_aware 启动参数对批量插入无直接影响,但会影响内存分配策略,间接影响 buffer pool 扩展速度
真正难的不是“选哪个引擎”,而是你敢不敢在生产环境关掉事务保证——InnoDB 慢,但安全;MyISAM 快,但脆弱。多数人卡在这一步,而不是语法怎么写。

热门AI工具

更多
咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

PixTV
PixTV Hot

PixTV是一款面向AIGC内容创作的AI视频生成工具。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

相关专题

更多
mysql修改数据表名
mysql修改数据表名

MySQL修改数据表:1、首先查看数据库中所有的表,代码为:‘SHOW TABLES;’;2、修改表名,代码为:‘ALTER TABLE 旧表名 RENAME [TO] 新表名;’。php中文网还提供MySQL的相关下载、相关课程等内容,供大家免费下载使用。

2013

2023.06.20

MySQL创建存储过程
MySQL创建存储过程

存储程序可以分为存储过程和函数,MySQL中创建存储过程和函数使用的语句分别为CREATE PROCEDURE和CREATE FUNCTION。使用CALL语句调用存储过程智能用输出变量返回值。函数可以从语句外调用(通过引用函数名),也能返回标量值。存储过程也可以调用其他存储过程。php中文网还提供MySQL创建存储过程的相关下载、相关课程等内容,供大家免费下载使用。

1239

2023.06.21

mongodb和mysql的区别
mongodb和mysql的区别

mongodb和mysql的区别:1、数据模型;2、查询语言;3、扩展性和性能;4、可靠性。本专题为大家提供mongodb和mysql的区别的相关的文章、下载、课程内容,供大家免费下载体验。

735

2023.07.18

mysql密码忘了怎么查看
mysql密码忘了怎么查看

MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS 应用软件之一。那么mysql密码忘了怎么办呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2672

2023.07.19

mysql创建数据库
mysql创建数据库

MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS 应用软件之一。那么mysql怎么创建数据库呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

4408

2023.07.25

mysql默认事务隔离级别
mysql默认事务隔离级别

MySQL是一种广泛使用的关系型数据库管理系统,它支持事务处理。事务是一组数据库操作,它们作为一个逻辑单元被一起执行。为了保证事务的一致性和隔离性,MySQL提供了不同的事务隔离级别。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

1039

2023.08.08

sqlserver和mysql区别
sqlserver和mysql区别

SQL Server和MySQL是两种广泛使用的关系型数据库管理系统。它们具有相似的功能和用途,但在某些方面存在一些显著的区别。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

4671

2023.08.11

mysql忘记密码
mysql忘记密码

MySQL是一种关系型数据库管理系统,关系数据库将数据保存在不同的表中,而不是将所有数据放在一个大仓库内,这样就增加了速度并提高了灵活性。那么忘记mysql密码我们该怎么解决呢?php中文网给大家带来了相关的教程以及其他关于mysql的文章,欢迎大家前来学习阅读。

4202

2023.08.14

LLVM自定义Pass怎么写
LLVM自定义Pass怎么写

本专题聚焦LLVM自定义Pass开发,整理Pass类结构、run()方法、PreservedAnalyses、CMake构建、插件注册、-load-pass-plugin加载和测试用例编写流程。

0

2026.09.30

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL vs MySQL
PostgreSQL vs MySQL

共1课时 | 177人学习

使用phpenv集成环境安装极致CMS
使用phpenv集成环境安装极致CMS

共2课时 | 282人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn