讲师中心 微信公众号
AI工具推荐 视频效率加速

c#如何批量插入数据_c#批量插入数据完整教程与实战案例

浅丽小哥_7885

浅丽小哥_7885

发布时间:2026-04-11 16:39:46

|

517人浏览过

|

来源于php中文网

原创

SqlBulkCopy是C#中万级以上数据批量插入的最优解,性能达普通INSERT循环的10–50倍;仅支持SQL Server,需目标表预先存在、字段顺序与类型严格匹配,推荐BatchSize 1000–10000并启用EnableStreaming,主键冲突宜用临时表+MERGE解决,事务需显式传入SqlTransaction。

c#如何批量插入数据_c#批量插入数据完整教程与实战案例

用 SqlBulkCopy 实现高速批量插入

直接上结论:C# 中真正适合万级以上数据批量插入的,只有 SqlBulkCopy。它绕过 SQL 解析层,走的是 SQL Server 的原生批量加载通道,性能通常是 INSERT INTO ... VALUES 循环的 10–50 倍。

常见错误是拿 ExecuteNonQuery 配合参数化 INSERT 循环来“模拟批量”,结果单次插入 1 万条可能耗时 30 秒以上;而 SqlBulkCopy 同样数据通常在 300ms 内完成。

实操要点:

  • SqlBulkCopy 只支持 SQL Server(含 Azure SQL),不适用于 MySQL、PostgreSQL
  • 目标表必须已存在,它不会自动建表或做字段映射校验(映射错会静默跳过或报错)
  • 源数据建议用 DataTable 或 IDataReader,避免用 IEnumerable<T> 直接传——后者会触发完整枚举+反射,拖慢性能
  • 关键配置项:BatchSize(推荐 1000–10000)、DestinationTableName(必须全名,如 [dbo].[Orders])、EnableStreaming = true(大数据量时减少内存占用)

DataTable 构造时字段顺序与类型必须严格匹配目标表

这是最常踩的坑:字段名对了但插不进数据,或者数值被截断、日期变 1900-01-01——根本原因往往是 DataTable 列顺序/类型和数据库表不一致。

例如目标表定义为:

CREATE TABLE Orders (
    Id INT IDENTITY(1,1) PRIMARY KEY,
    OrderNo NVARCHAR(20) NOT NULL,
    Amount DECIMAL(18,2),
    CreatedAt DATETIME2
)

对应 DataTable 必须按此顺序添加列,且类型要兼容:

var dt = new DataTable();
dt.Columns.Add("OrderNo", typeof(string));      // 注意:不是 "Id" 开头
dt.Columns.Add("Amount", typeof(decimal));
dt.Columns.Add("CreatedAt", typeof(DateTime));  // 不能用 DateTime? 或 string

如果数据库字段允许 NULL,DataTable 对应列的 AllowDBNull 属性也得设为 true,否则 BulkCopy 会抛 InvalidOperationException。

C#
C#

"避开 C# 常见错误——空陷阱、异步陷阱、LINQ 陷阱及资源泄漏。"

下载

处理主键冲突:用临时表 + MERGE 替代直接插入

SqlBulkCopy 本身不支持 ON CONFLICT 或 IGNORE,遇到主键/唯一键重复会直接报错中断。真实业务中往往需要“存在则更新,不存在则插入”。

推荐做法是分两步:

  • 先用 SqlBulkCopy 把数据导入一个结构相同的临时表(如 #staging_orders)
  • 再用 T-SQL 执行 MERGE,把临时表数据合并到正式表

示例合并语句:

MERGE Orders AS tgt
USING #staging_orders AS src
ON tgt.OrderNo = src.OrderNo
WHEN MATCHED THEN
    UPDATE SET Amount = src.Amount, CreatedAt = src.CreatedAt
WHEN NOT MATCHED THEN
    INSERT (OrderNo, Amount, CreatedAt) VALUES (src.OrderNo, src.Amount, src.CreatedAt);

注意:临时表名前缀 # 表示会话级临时表,不用手动清理;若需跨连接复用,改用 ## 全局临时表,但要注意并发安全。

异步与事务控制:BulkCopy 本身不支持 async,但可包裹在 TransactionScope 中

SqlBulkCopy.WriteToServer 是同步阻塞调用,没有 WriteToServerAsync 方法(.NET 6+ 仍无)。想实现“不卡主线程”,只能靠线程池或 Task.Run 包裹,但要注意连接对象不能跨线程共享。

事务控制更关键:默认情况下 SqlBulkCopy 每个批次是独立事务,失败只回滚当前批次。如需整批原子性,必须显式传入已开启的 SqlTransaction:

using var conn = new SqlConnection(connStr);
conn.Open();
using var tx = conn.BeginTransaction();
using var bulk = new SqlBulkCopy(conn) {
    DestinationTableName = "[dbo].[Orders]",
    SqlTransaction = tx  // ⚠️ 必须设置此项
};
bulk.WriteToServer(dt);
tx.Commit(); // 成功后提交,否则调用 tx.Rollback()

容易忽略的一点:如果目标表有触发器,默认会被禁用;如需启用,得显式设置 FireTriggers = true,但会显著降低速度。

热门AI工具

更多
豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

超级简历WonderCV

一款AI办公效率工具,主要用于免费求职简历模版下载制作,应届生职场人必备简历制作神器,适合需要提升相关任务效率的用户。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

相关专题

更多
c#是什么意思
c#是什么意思

C#是一种通用的面向对象编程语言,它在.NET框架上运行,可用于开发各种类型的应用程序。本专题为大家提供c#相关的各种文章、以及下载和课程。

1012

2023.08.08

什么是c#
什么是c#

C#(读作C Sharp)是一种现代的、通用的、面向对象的编程语言。它由微软公司开发,于2000年首次发布,主要用于开发Windows桌面应用程序、Web应用程序、移动应用程序以及游戏开发等领域。C#是一种类型安全和托管的编程语言,它结合了C++的强大性能和C语言的简单易学特点,并引入了许多新的特性和概念,如委托、属性、泛型和异步编程等,以提高开发效率和代码可维护性。

2931

2023.08.31

C#中base关键字的用法
C#中base关键字的用法

在C#中,base关键字用于访问当前类的基类成员,这包括基类的字段、属性、方法、构造函数、索引器以及事件。想了解更多C#的相关内容,可以阅读本专题下面的文章。

885

2024.03.13

C#Task用法
C#Task用法

Task在C#中是用于表示异步操作的对象,它位于System.Threading.Tasks命名空间中。想了解更多C#中各种用法的相关内容,可以阅读本专题下面的文章。

2615

2024.03.14

C# 并发与异步编程
C# 并发与异步编程

本专题系统讲解 C# 异步编程与并发控制,重点介绍 async 和 await 关键字、Task 类、线程池管理、并发数据结构、死锁与线程安全问题。通过多个实战项目,帮助学习者掌握 如何在 C# 中编写高效的异步代码,提升应用的并发性能与响应速度。

312

2026.02.03

C# 多线程与异步编程
C# 多线程与异步编程

本专题深入讲解 C# 中多线程与异步编程的核心概念与实战技巧,包括线程池管理、Task 类的使用、async/await 异步编程模式、并发控制与线程同步、死锁与竞态条件的解决方案。通过实际项目,帮助开发者掌握 如何在 C# 中构建高并发、低延迟的异步系统,提升应用性能和响应速度。

389

2026.02.06

C# ASP.NET Core微服务架构与API网关实践
C# ASP.NET Core微服务架构与API网关实践

本专题围绕 C# 在现代后端架构中的微服务实践展开,系统讲解基于 ASP.NET Core 构建可扩展服务体系的核心方法。内容涵盖服务拆分策略、RESTful API 设计、服务间通信、API 网关统一入口管理以及服务治理机制。通过真实项目案例,帮助开发者掌握构建高可用微服务系统的关键技术,提高系统的可扩展性与维护效率。

631

2026.03.11

C# Unity游戏开发与ECS架构实践
C# Unity游戏开发与ECS架构实践

本专题聚焦 C# 在 Unity 游戏开发中的应用,系统讲解 ECS(Entity-Component-System)架构设计、游戏对象管理、性能优化与内存控制策略。通过实际游戏案例,帮助开发者构建高性能、结构清晰的游戏系统,提高游戏开发效率与运行性能。

329

2026.04.13

Playwright 测试失败怎么办
Playwright 测试失败怎么办

Playwright测试失败专题汇集超时、定位器匹配、浏览器提前关闭、依赖与插件配置、文件上传、SSL及Docker启动等故障文章,并介绍通过截图、报告和Trace定位错误。

0

2026.10.21

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
C++ Core Guidelines
C++ Core Guidelines

共0课时 | 0人学习

C++ Reference
C++ Reference

共0课时 | 0人学习

C++ 官方标准说明
C++ 官方标准说明

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn