讲师中心 微信公众号
AI工具推荐 视频效率加速

SQL批量INSERT速度慢如何优化

大磊大大_4000

大磊大大_4000

发布时间:2026-07-29 10:53:26

|

984人浏览过

|

来源于php中文网

原创

真正提速的关键是绕过高频小事务、减少日志和索引实时开销;必须配合显式事务(如SET autocommit=0 + COMMIT)、临时禁用约束索引,并使用原生批量接口(如MySQL rewriteBatchedStatements、PostgreSQL COPY),而非依赖ORM默认行为。

sql批量insert速度慢如何优化

直接用单条 INSERT INTO ... VALUES (...) 循环插入几千行,性能会断崖式下跌;真正提速的关键不是“一次插多少”,而是绕过高频小事务、减少日志和索引实时开销。

多值INSERT必须配事务,否则白优化

只把多行塞进一个 VALUES 里还不够。MySQL/PostgreSQL/SQL Server 默认 autocommit = 1,每条语句仍是独立事务,redo log 或 WAL 还是刷个不停。

  • MySQL:执行 SET autocommit = 0; 后再批量插入,最后 COMMIT;;或用 BEGIN; ... COMMIT;
  • PostgreSQL:必须显式 BEGIN; + COMMIT;,不能依赖隐式事务
  • SQLite:用 BEGIN IMMEDIATE; 避免写冲突,比 BEGIN DEFERRED; 更早加锁
  • 容易踩的坑:COMMIT 忘写会导致连接挂起、锁表、后续查询阻塞;事务太大(如 50 万行)可能撑爆 innodb_log_file_size 或 undo 表空间

每批多少行?别硬背数字,看参数和数据

批次大小不是固定值,它受协议限制、内存和日志容量共同约束。

  • MySQL:单条语句最多约 65535 个参数(不是行数),但实际受 max_allowed_packet 限制;运行时查 SELECT @@max_allowed_packet,按 1000–2000 行一组更稳妥
  • PostgreSQL:VALUES 行数无硬上限,但计划器在几千行后可能变慢,建议 ≤ 5000 行/批
  • SQL Server:单语句超 1000 行易触发参数绑定失败,且 T-SQL 解析压力陡增;优先走 SqlBulkCopy 或 BULK INSERT
  • SQLite:默认 SQLITE_MAX_VARIABLE_NUMBER=999,必须分段;可用 PRAGMA compile_options 确认

索引和约束不是摆设,导入前该关就得关

每插一行就校验外键、更新二级索引、跑触发器,等于把批量操作退化成逐行处理。

  • MySQL:导入前 ALTER TABLE t DISABLE KEYS;(仅对 MyISAM 有效),InnoDB 推荐 SET FOREIGN_KEY_CHECKS = 0; + 手动删重建索引
  • PostgreSQL:用 SET CONSTRAINTS ALL DEFERRED; 延迟到事务末尾校验,或建表时加 NOT VALID 约束,导入后再 VALIDATE CONSTRAINT
  • SQL Server:ALTER INDEX IX_Name ON t DISABLE;,导入后 REBUILD;别忘了检查是否含 UNIQUE 或 CHECK 约束,它们无法禁用,只能临时删掉
  • 注意:操作完必须恢复并验证一致性,否则后续查询可能返回错误结果或拒绝写入

别拿ORM当批量工具,原生接口才是真快

JPA 的 saveAll()、MyBatis 的 <foreach> 默认仍是循环单条,除非你明确调了驱动层的批处理开关。

  • MySQL JDBC:必须启用 rewriteBatchedStatements=true(旧驱动需配合 useServerPrepStmts=false),否则 addBatch() 只是拼 SQL 字符串,不走服务端批处理
  • PostgreSQL:JDBC 的 copy 协议(如 copy_from in psycopg2)比任何 INSERT 快 5–20 倍,但它不是标准 SQL,不能写在普通字符串里
  • SQL Server:.NET 场景下,SqlBulkCopy 是唯一能逼近 BULK INSERT 性能的选择;务必设 BatchSize = 5000,开启 EnableStreaming = true 避免内存溢出
  • 关键点:不要在循环里反复 new PreparedStatement,复用同一实例 + addBatch() 才有效

最常被忽略的是:数据库配置本身就在拖慢你——比如 innodb_flush_log_at_trx_commit = 1(强持久)和 = 2(折中)之间,批量插入速度可能差 3–5 倍;而 buffer_pool_size 太小会让 InnoDB 反复刷脏页,等于用磁盘当内存使。

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

PixTV
PixTV Hot

PixTV是一款面向AIGC内容创作的AI视频生成工具。

讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

Seko
Seko Hot

一款AI视频创作工具,主要用于商汤科技推出的创编一体的AI短视频创作Agent,适合需要提升相关任务效率的用户。

PixPix
PixPix Hot

PixPix是一款面向电商视觉生产的AI商品图生成工具。

蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

相关专题

更多
数据分析工具有哪些
数据分析工具有哪些

数据分析工具有Excel、SQL、Python、R、Tableau、Power BI、SAS、SPSS和MATLAB等。详细介绍:1、Excel,具有强大的计算和数据处理功能;2、SQL,可以进行数据查询、过滤、排序、聚合等操作;3、Python,拥有丰富的数据分析库;4、R,拥有丰富的统计分析库和图形库;5、Tableau,提供了直观易用的用户界面等等。

3843

2023.10.12

SQL中distinct的用法
SQL中distinct的用法

SQL中distinct的语法是“SELECT DISTINCT column1, column2,...,FROM table_name;”。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

831

2023.10.27

SQL中months_between使用方法
SQL中months_between使用方法

在SQL中,MONTHS_BETWEEN 是一个常见的函数,用于计算两个日期之间的月份差。想了解更多SQL的相关内容,可以阅读本专题下面的文章。

1009

2024.02.23

SQL出现5120错误解决方法
SQL出现5120错误解决方法

SQL Server错误5120是由于没有足够的权限来访问或操作指定的数据库或文件引起的。想了解更多sql错误的相关内容,可以阅读本专题下面的文章。

5681

2024.03.06

sql procedure语法错误解决方法
sql procedure语法错误解决方法

sql procedure语法错误解决办法:1、仔细检查错误消息;2、检查语法规则;3、检查括号和引号;4、检查变量和参数;5、检查关键字和函数;6、逐步调试;7、参考文档和示例。想了解更多语法错误的相关内容,可以阅读本专题下面的文章。

2623

2024.03.06

oracle数据库运行sql方法
oracle数据库运行sql方法

运行sql步骤包括:打开sql plus工具并连接到数据库。在提示符下输入sql语句。按enter键运行该语句。查看结果,错误消息或退出sql plus。想了解更多oracle数据库的相关内容,可以阅读本专题下面的文章。

5660

2024.04.07

sql中where的含义
sql中where的含义

sql中where子句用于从表中过滤数据,它基于指定条件选择特定的行。想了解更多where的相关内容,可以阅读本专题下面的文章。

7441

2024.04.29

sql中删除表的语句是什么
sql中删除表的语句是什么

sql中用于删除表的语句是drop table。语法为drop table table_name;该语句将永久删除指定表的表和数据。想了解更多sql的相关内容,可以阅读本专题下面的文章。

1010

2024.04.29

PixTV AI视频生成与无限画布创作
PixTV AI视频生成与无限画布创作

PixTV专题整理AI视频与视觉内容创作相关功能使用教程,涵盖AI生图、视频生成、无限画布、多模型创作、素材管理、声音音乐及视频剪辑等功能,帮助用户快速掌握PixTV从创意到成片的完整制作方法。

0

2026.09.29

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn