讲师中心 微信公众号
AI工具推荐 视频效率加速

SQL如何批量插入多条数据并提升INSERT性能

星雪小哥_4173

星雪小哥_4173

发布时间:2026-08-22 12:51:29

|

256人浏览过

|

来源于php中文网

原创

真正能扛住万级数据的批量插入必须配合事务控制与语句合并,单条多值INSERT需封装在BEGIN/COMMIT中,每批1000–5000行为宜,并注意max_allowed_packet、参数限制及主键有序性。

sql如何批量插入多条数据并提升insert性能

直接用 INSERT INTO ... VALUES (), (), ... 插入几千行以上,性能会断崖式下跌;真正能扛住万级数据的批量插入,必须配合事务控制、语句合并或专用工具,否则光是日志刷盘和锁争用就卡死。

用单条多值 INSERT + 事务封装(适合万行以内)

这是最通用、权限要求最低的方案,但必须把多行 VALUES 和显式事务绑在一起,否则效果打折。

  • 别写成 1000 条独立 INSERT 语句——每条都触发一次事务开销、日志写入和索引更新
  • 把最多 1000–5000 行拼成一条 INSERT INTO t(a,b) VALUES (1,'x'),(2,'y'),...,再包在 BEGIN TRANSACTION / COMMIT 里
  • MySQL 中如果 max_allowed_packet 太小(默认 4MB),拼太长会报 Packet too large,需提前调大
  • SQL Server 对单条语句的参数个数有限制(约 2100 个),VALUES 列表实际受此约束,不是行数限制而是总占位符数

用 executemany() 配合连接库(Python/Java 等主流语言)

这是应用层最常用也最可控的方式,但很多人漏掉关键配置,导致性能只比逐条好一点。

  • 必须关闭自动提交:conn.autocommit = False,否则 executemany() 每批仍会隐式提交
  • 显式调用 conn.commit() 在所有批次之后,或按固定行数(如每 5000 行)分批 commit
  • PostgreSQL 的 psycopg2 支持 execute_batch()(带缓冲)比原生 executemany() 更快;MySQL 的 mysql-connector-python 同样建议设 autocommit=False + 手动 commit
  • 别传超大 list 直接塞进 executemany()——内存爆掉前,网络或驱动可能先报错;拆成子列表分批调用更稳

SQL Server 用 BULK INSERT 或 SqlBulkCopy(万行以上首选)

当数据量上十万、且你有文件落地或 .NET 环境时,绕过 T-SQL 解析路径才是真提速。

  • BULK INSERT 要求文件对 SQL Server 服务账户可见,D:datainput.csv 对客户端有效 ≠ 对 SQL Server 有效;UNC 路径(\servershare)更可靠
  • 必须加 TABLOCK 提示,否则默认行锁会让并发插入变成排队;没它,速度可能比普通 INSERT 还慢
  • 导入前切恢复模式:ALTER DATABASE db SET RECOVERY BULK_LOGGED,否则全量日志写入撑爆磁盘
  • .NET 用 SqlBulkCopy 时,BatchSize = 5000 是经验值;设太大易 OOM,太小则事务开销回升;EnableStreaming = true 只在源是 IDataReader 时生效,DataTable 不走流式

避免踩坑:主键顺序、索引与 NULL 处理

这些细节不报错,但会让批量插入从“快”变“假快”甚至失败。

  • 主键无序(比如 UUID 或随机 int)+ 大量插入 → 触发频繁页分裂,I/O 暴涨;能预排序就排,尤其 SQL Server 和 MySQL InnoDB
  • 目标列定义为 NOT NULL,但源数据含空字符串或 NULL 字面量 → 整批失败,错误提示笼统(如 Cannot insert the value NULL),得自己校验源头
  • CSV 导入时字段含换行符或双引号,FIELDTERMINATOR=',' 会解析错;SQL Server 2017+ 推荐用 FORMAT='CSV' + FIRSTROW=2,但必须确认文件编码是 UTF-8 w/o BOM
  • 别在批量插入中途建/删索引——DDL 会阻塞 DML;应提前禁用非聚集索引,插完再重建

真正影响性能的从来不是语法怎么写,而是事务边界划在哪、日志怎么记、索引怎么让路;批量插入不是“多塞几行”,是主动让数据库少做点事。

相关文章

数码产品性能查询
数码产品性能查询

该软件包括了市面上所有手机CPU,手机跑分情况,电脑CPU,电脑产品信息等等,方便需要大家查阅数码产品最新情况,了解产品特性,能够进行对比选择最具性价比的商品。

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
AionClaw
AionClaw Hot

AionClaw是一款面向办公、创作和编程任务的AI桌面智能体。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

墨刀AI
墨刀AI Hot

一款AI图像与设计工具,主要用于产品经理的专属智能体,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

切问学术

切问学术是一款AI论文写作工具,复旦大学NLP团队推出的AI学术智能体。

Seko
Seko Hot

一款AI视频创作工具,主要用于商汤科技推出的创编一体的AI短视频创作Agent,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

VibeKnow
VibeKnow Hot

一款AI视频创作工具,主要用于全球首个AI知识视频创作平台,文档、文章、网页,一键生成视频,适合需要提升相关任务效率的用户。

相关专题

更多
数据分析工具有哪些
数据分析工具有哪些

数据分析工具有Excel、SQL、Python、R、Tableau、Power BI、SAS、SPSS和MATLAB等。详细介绍:1、Excel,具有强大的计算和数据处理功能;2、SQL,可以进行数据查询、过滤、排序、聚合等操作;3、Python,拥有丰富的数据分析库;4、R,拥有丰富的统计分析库和图形库;5、Tableau,提供了直观易用的用户界面等等。

3823

2023.10.12

SQL中distinct的用法
SQL中distinct的用法

SQL中distinct的语法是“SELECT DISTINCT column1, column2,...,FROM table_name;”。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

811

2023.10.27

SQL中months_between使用方法
SQL中months_between使用方法

在SQL中,MONTHS_BETWEEN 是一个常见的函数,用于计算两个日期之间的月份差。想了解更多SQL的相关内容,可以阅读本专题下面的文章。

989

2024.02.23

SQL出现5120错误解决方法
SQL出现5120错误解决方法

SQL Server错误5120是由于没有足够的权限来访问或操作指定的数据库或文件引起的。想了解更多sql错误的相关内容,可以阅读本专题下面的文章。

5641

2024.03.06

sql procedure语法错误解决方法
sql procedure语法错误解决方法

sql procedure语法错误解决办法:1、仔细检查错误消息;2、检查语法规则;3、检查括号和引号;4、检查变量和参数;5、检查关键字和函数;6、逐步调试;7、参考文档和示例。想了解更多语法错误的相关内容,可以阅读本专题下面的文章。

2603

2024.03.06

oracle数据库运行sql方法
oracle数据库运行sql方法

运行sql步骤包括:打开sql plus工具并连接到数据库。在提示符下输入sql语句。按enter键运行该语句。查看结果,错误消息或退出sql plus。想了解更多oracle数据库的相关内容,可以阅读本专题下面的文章。

5620

2024.04.07

sql中where的含义
sql中where的含义

sql中where子句用于从表中过滤数据,它基于指定条件选择特定的行。想了解更多where的相关内容,可以阅读本专题下面的文章。

7381

2024.04.29

sql中删除表的语句是什么
sql中删除表的语句是什么

sql中用于删除表的语句是drop table。语法为drop table table_name;该语句将永久删除指定表的表和数据。想了解更多sql的相关内容,可以阅读本专题下面的文章。

1010

2024.04.29

Buffalo框架数据库开发全教程
Buffalo框架数据库开发全教程

本专题围绕Buffalo框架数据库开发,讲解database.yml多环境配置、soda与fizz迁移生成回滚、模型结构体标签、增删改查与条件查询、一对多与多对多关联、数据校验、回调钩子、事务处理及原生SQL执行能力。

120

2026.09.23

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn