讲师中心 微信公众号
AI工具推荐 视频效率加速

SQL Server中如何高效执行大批量INSERT插入数据?

老墨姑娘_4730

老墨姑娘_4730

发布时间:2026-07-04 09:29:26

|

890人浏览过

|

来源于php中文网

原创

优化SQL Server批量插入需选择BULK INSERT或SqlBulkCopy工具,结合事务日志优化、索引策略调整和数据库配置,具体包括使用TABLOCK提示、临时切换恢复模式为BULK_LOGGED或SIMPLE、预排序数据、禁用非聚集索引与约束,并预分配文件空间,以减少日志、锁争用和I/O开销,显著提升大批量数据插入性能。

sql server中如何高效执行大批量insert插入数据?

直接用单条 INSERT INTO ... VALUES (...), (...) 插入几千行,性能会断崖式下跌;真正高效的大批量插入,必须绕过常规语句路径,用 BULK INSERT、SqlBulkCopy 或分批事务 + 索引控制组合策略。

用 BULK INSERT 从文件导入(最快,但有路径限制)

这是 SQL Server 原生最快的批量导入方式,数据不经过网络协议栈,直接由 SQL Server 进程读取本地或 UNC 路径文件。但它要求文件对 SQL Server 服务账户可见,不能是客户端本地路径。

  • BULK INSERT 必须配合 TABLOCK 提示,否则默认行锁会严重拖慢速度:
    BULK INSERT orders FROM 'D:\data\orders.csv' WITH (FIELDTERMINATOR = ',', ROWTERMINATOR = '\n', TABLOCK);
  • 如果数据库恢复模式不是 BULK_LOGGED 或 SIMPLE,日志会全量记录,导致磁盘 I/O 暴涨;导入前建议临时切换:
    ALTER DATABASE yourdb SET RECOVERY BULK_LOGGED;
  • CSV 文件字段含换行符、引号或 NULL 时,FORMAT = 'CSV'(SQL Server 2017+)比手动写 FIELDTERMINATOR 更健壮,但需显式指定 FIRSTROW 跳过表头
  • 别指望它自动类型转换——源字段类型必须严格匹配目标列,否则整批失败,错误信息只报“批量加载失败”,不提示具体哪一行哪一列

用 SqlBulkCopy 从 .NET 应用推送(最灵活,推荐日常使用)

当你无法把数据文件放到 SQL Server 机器上,或者数据来自内存对象(如 DataTable、DataReader),SqlBulkCopy 是唯一能接近 BULK INSERT 性能的选择。

  • 务必设置 BatchSize(如 5000),否则默认一次性提交全部行,容易触发内存溢出或事务日志撑爆:
    bulkCopy.BatchSize = 5000;
  • 开启 EnableStreaming = true 可避免把整个数据集加载进内存,适合超大数据流(但要求源实现 IDataReader)
  • 列名映射必须显式做,尤其当源列顺序与目标表不一致时:
    bulkCopy.ColumnMappings.Add("OrderDate", "order_date");
  • 不要在 WriteToServer 前手动开事务——SqlBulkCopy 内部已用最小日志模式,加外部事务反而增加锁范围;如需一致性保障,应在调用前后用应用层事务包裹

用多值 INSERT + 分批事务(中等数据量,无额外权限要求)

当数据量在几万行以内、且你无法用 BULK INSERT 或 SqlBulkCopy(比如用 Python/PHP 等非 .NET 环境),这是最现实的折中方案。

  • 每批最多拼 1000 组 VALUES,再多 SQL Server 解析器会明显变慢,且可能触发 max text repl size 或参数绑定限制
  • 必须用显式事务包裹整批:
    BEGIN TRANSACTION; INSERT INTO orders (...) VALUES (...), (...), ...; COMMIT;
    否则每组 VALUES 都算一次独立事务,日志刷盘开销翻倍
  • 避免动态字符串拼接生成 SQL——易被注入,且长语句编译缓存命中率低;改用参数化批量(如 Python 的 executemany()、Java 的 addBatch())
  • 如果表有非聚集索引,插入前执行 ALTER INDEX ... DISABLE,插入完再 REBUILD,比边插边维护索引快 3–5 倍;但主键/唯一索引不能禁用,否则数据校验失效

为什么禁用约束和索引后还要重建?

禁用非聚集索引只是把 B-Tree 结构标记为 offline,并不删除物理页;但约束(如外键、检查约束)被禁用后,SQL Server 不再校验新数据是否合规。导入完成后,ALTER INDEX ... REBUILD 不仅恢复索引可用性,还会重新排序叶级页、压缩空闲空间;而 WITH CHECK 启用约束会全表扫描验证,这步不能跳过,否则后续查询可能因数据违规返回错误结果。

最容易被忽略的是:所有这些优化都假设你是在离线或低峰期操作。线上表直接 DISABLE 索引或关约束,等于裸奔——并发查询可能读到未验证数据,或因缺失索引导致查询计划彻底劣化。

热门AI工具

更多
UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

AionClaw
AionClaw Hot

AionClaw是一款面向办公、创作和编程任务的AI桌面智能体。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

VibeKnow
VibeKnow Hot

一款AI视频创作工具,主要用于全球首个AI知识视频创作平台,文档、文章、网页,一键生成视频,适合需要提升相关任务效率的用户。

相关专题

更多
sqlserver和mysql区别
sqlserver和mysql区别

SQL Server和MySQL是两种广泛使用的关系型数据库管理系统。它们具有相似的功能和用途,但在某些方面存在一些显著的区别。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

5471

2023.08.11

数据库三范式
数据库三范式

数据库三范式是一种设计规范,用于规范化关系型数据库中的数据结构,它通过消除冗余数据、提高数据库性能和数据一致性,提供了一种有效的数据库设计方法。本专题提供数据库三范式相关的文章、下载和课程。

2685

2023.06.29

如何删除数据库
如何删除数据库

删除数据库是指在MySQL中完全移除一个数据库及其所包含的所有数据和结构,作用包括:1、释放存储空间;2、确保数据的安全性;3、提高数据库的整体性能,加速查询和操作的执行速度。尽管删除数据库具有一些好处,但在执行任何删除操作之前,务必谨慎操作,并备份重要的数据。删除数据库将永久性地删除所有相关数据和结构,无法回滚。

3901

2023.08.14

vb怎么连接数据库
vb怎么连接数据库

在VB中,连接数据库通常使用ADO(ActiveX 数据对象)或 DAO(Data Access Objects)这两个技术来实现:1、引入ADO库;2、创建ADO连接对象;3、配置连接字符串;4、打开连接;5、执行SQL语句;6、处理查询结果;7、关闭连接即可。

2951

2023.08.31

MySQL恢复数据库
MySQL恢复数据库

MySQL恢复数据库的方法有使用物理备份恢复、使用逻辑备份恢复、使用二进制日志恢复和使用数据库复制进行恢复等。本专题为大家提供MySQL数据库相关的文章、下载、课程内容,供大家免费下载体验。

947

2023.09.05

vb中怎么连接access数据库
vb中怎么连接access数据库

vb中连接access数据库的步骤包括引用必要的命名空间、创建连接字符串、创建连接对象、打开连接、执行SQL语句和关闭连接。本专题为大家提供连接access数据库相关的文章、下载、课程内容,供大家免费下载体验。

2607

2023.10.09

数据库对象名无效怎么解决
数据库对象名无效怎么解决

数据库对象名无效解决办法:1、检查使用的对象名是否正确,确保没有拼写错误;2、检查数据库中是否已存在具有相同名称的对象,如果是,请更改对象名为一个不同的名称,然后重新创建;3、确保在连接数据库时使用了正确的用户名、密码和数据库名称;4、尝试重启数据库服务,然后再次尝试创建或使用对象;5、尝试更新驱动程序,然后再次尝试创建或使用对象。

2607

2023.10.16

vb连接access数据库的方法
vb连接access数据库的方法

vb连接access数据库方法:1、使用ADO连接,首先导入System.Data.OleDb模块,然后定义一个连接字符串,接着创建一个OleDbConnection对象并使用Open() 方法打开连接;2、使用DAO连接,首先导入 Microsoft.Jet.OLEDB模块,然后定义一个连接字符串,接着创建一个JetConnection对象并使用Open()方法打开连接即可。

2873

2023.10.16

OpenJDK JVM参数怎么调优
OpenJDK JVM参数怎么调优

Java应用运行缓慢,如何调整JVM参数?本专题介绍OpenJDK JVM性能调优的基本流程,涵盖性能指标确认、运行数据采集、内存配置和垃圾回收分析,帮助你先定位瓶颈,再通过对照测试验证效果,避免直接套用参数而影响应用稳定性。

0

2026.10.16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
SQL 教程
SQL 教程

共61课时 | 7.3万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn