讲师中心 微信公众号
AI工具推荐 视频效率加速

mysql如何处理高并发插入_mysql批量插入与延迟索引刷新

夏涛酱_4321

夏涛酱_4321

发布时间:2026-04-25 18:31:27

|

757人浏览过

|

来源于php中文网

原创

大批量INSERT越插越慢是因为每条语句默认触发索引更新和redo log刷盘,索引越多、事务越小,随机写放大越严重;批量插入、调优参数、延迟建索引及使用LOAD DATA可显著提升性能。

mysql如何处理高并发插入_mysql批量插入与延迟索引刷新

大批量 INSERT 时为什么越插越慢?

因为每条 INSERT 默认触发一次索引更新 + redo log 刷盘,索引越多、事务越小,开销越爆炸。尤其当表有多个二级索引时,单行插入可能引发数倍的随机写放大。

  • 用 INSERT INTO ... VALUES (...), (...), (...) 批量写入,100 行一包比 100 次单行快 5–10 倍(取决于网络延迟和 innodb_buffer_pool_size)
  • 避免在循环里拼接大 SQL 字符串——PHP/Python 中字符串反复 realloc 容易 OOM;改用预编译 + executemany() 或分段组装
  • 如果主键是自增 INT,别用 REPLACE INTO 或 INSERT ... ON DUPLICATE KEY UPDATE 代替普通插入——它们会先查再写,锁更重、冲突更多

innodb_flush_log_at_trx_commit=2 真的安全吗?

设成 2 后,事务提交只写入 OS cache,不强制 fsync() 到磁盘,崩溃时最多丢 1 秒数据。对日志类、埋点类、非金融场景,这是性价比最高的折中。

MySQL
MySQL

编写正确的MySQL查询,避免字符集、索引和锁方面的常见陷阱。

下载
  • 必须配合 sync_binlog=0 或 sync_binlog=1000(否则 binlog 和 redo 不一致,主从可能出错)
  • 不要在 RDS 上擅自改这个值——阿里云/AWS 的 MySQL 实例默认已调优,改了反而触发平台告警或被自动重置
  • innodb_doublewrite=ON 必须保持开启,2 不影响 doublewrite 保护,但关了它等于裸奔

延迟创建索引真的能提速?

能,但只在「先灌数据、再建索引」的离线导入场景有效。MySQL 5.7+ 的 ALTER TABLE ... ALGORITHM=INPLACE 对二级索引添加已优化,但唯一约束仍需全表扫描校验。

  • 导入前用 ALTER TABLE t DROP INDEX idx_a, DROP INDEX idx_b,导入完再 ADD INDEX,速度可提升 3–8 倍(尤其 SSD 上)
  • 别对主键或唯一索引这么做——DROP PRIMARY KEY 会重建整表,比边插边建还慢
  • 注意:如果导入过程中有其他业务查询该表,删索引会导致全表扫描变多,可能拖垮 QPS

LOAD DATA INFILE 被拒怎么办?

常见于权限不足、secure_file_priv 限制或字段格式不匹配。它比任何 SQL 插入都快,因为绕过 SQL 解析层,直接走存储引擎接口。

  • 检查 SELECT @@secure_file_priv 返回路径,CSV 文件必须放那里;若为空,需重启 mysqld 加 --secure-file-priv=/tmp
  • 用 FIELDS TERMINATED BY ',' ENCLOSED BY '"' 显式声明格式,否则遇到含逗号的文本字段会错位
  • 如果表有自增主键,CSV 第列留空或填 0,MySQL 会自动补;但千万别填 NULL 字符串,会被当字面量插入导致重复键错误
事情说清了就结束。真正卡住的从来不是语法,而是 buffer pool 是否够大、磁盘 IOPS 是否打满、以及你有没有意识到:批量插入的瓶颈,90% 在 IO,不在 SQL 写法。

热门AI工具

更多
豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

AionClaw
AionClaw Hot

AionClaw是一款面向办公、创作和编程任务的AI桌面智能体。

VibeKnow
VibeKnow Hot

一款AI视频创作工具,主要用于全球首个AI知识视频创作平台,文档、文章、网页,一键生成视频,适合需要提升相关任务效率的用户。

Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

小橡皮AI

一款AI工具,主要用于小橡皮一键去AI味,将机器味重的内容改得更有活人感,防止因为 AI 内容被平台打上 AI 标签,以及限流,适合需要提升相关任务效率的用户。

立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

相关专题

更多
数据分析工具有哪些
数据分析工具有哪些

数据分析工具有Excel、SQL、Python、R、Tableau、Power BI、SAS、SPSS和MATLAB等。详细介绍:1、Excel,具有强大的计算和数据处理功能;2、SQL,可以进行数据查询、过滤、排序、聚合等操作;3、Python,拥有丰富的数据分析库;4、R,拥有丰富的统计分析库和图形库;5、Tableau,提供了直观易用的用户界面等等。

4583

2023.10.12

SQL中distinct的用法
SQL中distinct的用法

SQL中distinct的语法是“SELECT DISTINCT column1, column2,...,FROM table_name;”。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

951

2023.10.27

SQL中months_between使用方法
SQL中months_between使用方法

在SQL中,MONTHS_BETWEEN 是一个常见的函数,用于计算两个日期之间的月份差。想了解更多SQL的相关内容,可以阅读本专题下面的文章。

1209

2024.02.23

SQL出现5120错误解决方法
SQL出现5120错误解决方法

SQL Server错误5120是由于没有足够的权限来访问或操作指定的数据库或文件引起的。想了解更多sql错误的相关内容,可以阅读本专题下面的文章。

6561

2024.03.06

sql procedure语法错误解决方法
sql procedure语法错误解决方法

sql procedure语法错误解决办法:1、仔细检查错误消息;2、检查语法规则;3、检查括号和引号;4、检查变量和参数;5、检查关键字和函数;6、逐步调试;7、参考文档和示例。想了解更多语法错误的相关内容,可以阅读本专题下面的文章。

3323

2024.03.06

oracle数据库运行sql方法
oracle数据库运行sql方法

运行sql步骤包括:打开sql plus工具并连接到数据库。在提示符下输入sql语句。按enter键运行该语句。查看结果,错误消息或退出sql plus。想了解更多oracle数据库的相关内容,可以阅读本专题下面的文章。

6520

2024.04.07

sql中where的含义
sql中where的含义

sql中where子句用于从表中过滤数据,它基于指定条件选择特定的行。想了解更多where的相关内容,可以阅读本专题下面的文章。

8961

2024.04.29

sql中删除表的语句是什么
sql中删除表的语句是什么

sql中用于删除表的语句是drop table。语法为drop table table_name;该语句将永久删除指定表的表和数据。想了解更多sql的相关内容,可以阅读本专题下面的文章。

1210

2024.04.29

Vite 项目如何打包和部署
Vite 项目如何打包和部署

Vite项目打包部署专题汇集生产构建、产物预览、输出目录、资源路径、Nginx与GitHub Pages部署及常见白屏和路由404问题的已审核文章,帮助读者完成上线流程。

20

2026.10.28

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL vs MySQL
PostgreSQL vs MySQL

共1课时 | 192人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn