讲师中心 微信公众号
AI工具推荐 视频效率加速

如何在SQL Server 2022中批量INSERT百万级数据而不导致日志溢出?

云丽姑娘_9595

云丽姑娘_9595

发布时间:2026-07-19 12:07:18

|

226人浏览过

|

来源于php中文网

原创

日志溢出主因是事务日志无法截断,而非INSERT语句本身;关键在于显式提交+匹配恢复模式的日志备份策略;BULK INSERT性能最优但限制多;TVP适合应用层结构化数据推送;分批处理须用边界ID而非@@ROWCOUNT控制循环。

如何在sql server 2022中批量insert百万级数据而不导致日志溢出?

日志溢出根本不是INSERT语句本身的问题

日志爆满的根源在于事务日志无法及时截断,而不是“INSERT太多”。SQL Server 的恢复模式直接决定日志能否自动收缩:简单恢复模式下,每次检查点(CHECKPOINT)后未提交的日志可被覆盖;完整恢复模式下,必须靠日志备份才能释放空间。如果你没做日志备份,哪怕只插1万行,log_full错误照样出现。

别迷信“分批就能防溢出”——如果批次间没提交、或整个循环包在一个显式事务里,日志照涨不误。关键动作只有两个:显式提交 + 匹配恢复模式的维护策略。

BULK INSERT 是最快但限制最多的选择

BULK INSERT 是绕过常规日志记录路径的机制,在满足最小化日志前提下,性能远超普通 INSERT。但它有硬性依赖:

  • 目标表必须是空的,或已禁用所有索引(含主键约束),否则无法启用最小化日志
  • 必须使用 TABLOCK 提示,且不能有其他并发写入者
  • 数据源只能是本地文件、UNC路径或 Azure 存储(SQL Server 2022 支持 SAS 和托管标识)
  • FORMAT = 'CSV' 要求字段值不含换行符和未转义引号,否则解析失败

示例中容易漏掉的是 ROWS_PER_BATCH:设为 10000 比默认值更利于内存复用,但超过 50000 可能触发 tempdb 压力上升。

表值参数(TVP)适合从应用层推送结构化数据

当你无法把数据落地成文件(比如数据来自 API 或内存集合),Table-Valued Parameter 是最可控的批量方案。它本质是把一批行打包成一个参数传入存储过程,避免逐条网络往返。

注意三点:

  • 必须提前创建用户定义表类型:CREATE TYPE BulkUdt AS TABLE (Id INT, UserName NVARCHAR(32), Pwd VARCHAR(16))
  • .NET 中需用 DataTable 或 SqlDataRecord 构造,不能直接传 List
  • 单次调用建议控制在 10000 行以内,否则序列化开销陡增,且可能触发 max degree of parallelism 争抢

它仍走完整日志路径,所以务必配合小批次提交(比如每 5000 行 COMMIT 一次),不能指望 TVP 自动帮你省日志。

用临时表+WHILE循环分片时,@@ROWCOUNT 是陷阱

常见写法是 WHILE @@ROWCOUNT > 0 驱动循环,但这在最后一批不足 @BatchSize 时会提前退出——因为上一轮 INSERT 实际只插了 123 行,@@ROWCOUNT 就是 123,下一轮 SELECT 没命中任何行,@@ROWCOUNT 变 0,循环终止,剩余数据丢失。

正确做法是用边界 ID 控制:

DECLARE @MinID BIGINT = 0, @MaxID BIGINT;
SELECT @MaxID = MAX(id) FROM #staging;
WHILE @MinID < @MaxID
BEGIN
  INSERT INTO dbo.target_table (col1, col2, col3)
  SELECT col1, col2, col3 FROM #staging 
  WHERE id > @MinID AND id <= @MinID + @BatchSize;
<p>SET @MinID = @MinID + @BatchSize;
COMMIT; -- 关键:显式提交
END</p>

真正容易被忽略的,是 COMMIT 的位置——它必须在每次 INSERT 后立即执行,不能挪到循环外;也不能依赖隐式事务,因为默认是 AUTOCOMMIT 模式,而你的代码很可能关掉了它。

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

火山引擎

火山引擎是一款面向企业的云计算与AI服务平台。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

音述AI
音述AI Hot

一款AI音频处理工具,主要用于音述AI是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

PixPix
PixPix Hot

PixPix是一款面向电商视觉生产的AI商品图生成工具。

相关专题

更多
大数据分析工具有哪四个
大数据分析工具有哪四个

大数据分析的四个工具分别是rapidminer、Hpcc、Hadoop和Pentaho bi。大数据分析用于从各种来源生成的原始数据中提取有价值的数据。这些数据帮助我们获得有意义的见解、隐藏的模式、未知的相关性、市场趋势等等,具体取决于行业。大数据分析的主要动机是提供有价值的见解,以便为未来做出更好的决策。php中文网为大家带来了大数据分析的相关教程、以及相关文章等内容,供大家免费下载使用。

5796

2023.06.21

Java 大数据处理基础(Hadoop 方向)
Java 大数据处理基础(Hadoop 方向)

本专题聚焦 Java 在大数据离线处理场景中的核心应用,系统讲解 Hadoop 生态的基本原理、HDFS 文件系统操作、MapReduce 编程模型、作业优化策略以及常见数据处理流程。通过实际示例(如日志分析、批处理任务),帮助学习者掌握使用 Java 构建高效大数据处理程序的完整方法。

1269

2025.12.08

大数据专业学习教程
大数据专业学习教程

本专题整合了大数据专业学习相关教程,阅读专题下面的文章了解更多详细内容。

243

2026.01.05

python处理大数据合集
python处理大数据合集

本专题整合了python处理大数据相关教程,阅读专题下面的文章了解更多详细内容。

526

2026.01.05

sqlserver和mysql区别
sqlserver和mysql区别

SQL Server和MySQL是两种广泛使用的关系型数据库管理系统。它们具有相似的功能和用途,但在某些方面存在一些显著的区别。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

6151

2023.08.11

数据库三范式
数据库三范式

数据库三范式是一种设计规范,用于规范化关系型数据库中的数据结构,它通过消除冗余数据、提高数据库性能和数据一致性,提供了一种有效的数据库设计方法。本专题提供数据库三范式相关的文章、下载和课程。

2945

2023.06.29

如何删除数据库
如何删除数据库

删除数据库是指在MySQL中完全移除一个数据库及其所包含的所有数据和结构,作用包括:1、释放存储空间;2、确保数据的安全性;3、提高数据库的整体性能,加速查询和操作的执行速度。尽管删除数据库具有一些好处,但在执行任何删除操作之前,务必谨慎操作,并备份重要的数据。删除数据库将永久性地删除所有相关数据和结构,无法回滚。

4081

2023.08.14

vb怎么连接数据库
vb怎么连接数据库

在VB中,连接数据库通常使用ADO(ActiveX 数据对象)或 DAO(Data Access Objects)这两个技术来实现:1、引入ADO库;2、创建ADO连接对象;3、配置连接字符串;4、打开连接;5、执行SQL语句;6、处理查询结果;7、关闭连接即可。

3291

2023.08.31

Vite 项目如何打包和部署
Vite 项目如何打包和部署

Vite项目打包部署专题汇集生产构建、产物预览、输出目录、资源路径、Nginx与GitHub Pages部署及常见白屏和路由404问题的已审核文章,帮助读者完成上线流程。

60

2026.10.28

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn