讲师中心 微信公众号

工具推荐

视频效率加速
剧云
剧云

中文短剧剧本制作平台

AniShort
AniShort

AI短剧协同制作平台

Seko
Seko

AI短剧一键生成成片

立刻MV
立刻MV

低成本歌曲 MV、视频生成

SQL如何高效实现千万级数据批量插入_采用BulkInsert与批量提交

夏磊小哥_9707

夏磊小哥_9707

发布时间:2026-04-20 20:48:25

|

380人浏览过

|

来源于php中文网

原创

SqlBulkCopy必须显式设置BatchSize、DestinationTableName、EnableStreaming三参数,否则千万级插入大概率失败或极慢;BatchSize宜设10000,DestinationTableName须用三段式如"dbo.MyTable",EnableStreaming=true启用流式读取防OOM。

sql如何高效实现千万级数据批量插入_采用bulkinsert与批量提交

SqlBulkCopy 必须显式设置的三个参数

不设 BatchSize、DestinationTableName、EnableStreaming,千万级插入大概率失败或极慢。

  • BatchSize = 10000:太小(如 100)触发高频网络往返;太大(如 100000)易引发内存溢出或锁升级。1w 是多数 OLTP 场景实测稳定值
  • DestinationTableName = "dbo.MyTable":必须带 schema,只写 "MyTable" 会报 "Invalid object name 'MyTable'"
  • EnableStreaming = true:对 DataTable 或 IDataReader 源启用流式读取。不设它,500 万行数据可能直接 OOM

列映射错位导致静默丢数据

SqlBulkCopy 默认按列序匹配(source 第 1 列 → target 第 1 列),不是按列名。源列顺序和目标表不一致时,数据全插反,但不报错。

  • 查目标表真实列序:SELECT COLUMN_NAME FROM INFORMATION_SCHEMA.COLUMNS WHERE TABLE_NAME='MyTable' ORDER BY ORDINAL_POSITION
  • 或显式加映射:bulkCopy.ColumnMappings.Add("SourceName", "TargetName"),注意大小写和拼写——拼错、漏加、大小写不一致都会让该列变 NULL 或类型转换失败

BULK INSERT 文件路径与权限陷阱

BULK INSERT 要求 SQL Server 进程能直接访问文件路径,不是你本地能打开就行。

  • 文件必须在数据库服务器本地磁盘,或配置了 SQL Server 服务账户有读取权限的 UNC 路径(如 \serversharedata.csv)
  • 不能用 C:UsersMe... 这类用户路径——SQL Server 服务一般以 NT SERVICEMSSQLSERVER 运行,没权限
  • 字段/行分隔符必须严格匹配文件内容:FIELDTERMINATOR = ',' 但文件用 ; 分隔?整批失败且错误日志可能不明显

bulk_insert_mappings 不触发 ORM 事件,也不走约束校验

SQLAlchemy 的 bulk_insert_mappings 是纯数据搬运工,性能高,但代价明确。

  • 不会调用 @validates、before_insert 等 ORM 钩子,所有预处理逻辑得提前做干净
  • 不检查数据库默认值、CHECK 约束、外键(除非显式开启 return_defaults=True 并配好返回逻辑)
  • 遇到类型不匹配(如字典里传了 "age": "25" 字符串而非 int),报错位置常在底层驱动层,堆栈难定位
实际跑通千万级插入,关键不在“怎么写”,而在“谁在执行”——是客户端进程在推数据,还是 SQL Server 自己从磁盘拉数据,决定了权限、路径、内存模型、事务边界这四件事能不能对得上。漏掉任一环,都可能卡在“看起来成功、其实没数据”或者“某列全 NULL”的状态里。

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

小橡皮AI

一款AI工具,主要用于小橡皮一键去AI味,将机器味重的内容改得更有活人感,防止因为 AI 内容被平台打上 AI 标签,以及限流,适合需要提升相关任务效率的用户。

墨刀AI
墨刀AI Hot

一款AI图像与设计工具,主要用于产品经理的专属智能体,适合需要提升相关任务效率的用户。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

相关专题

更多
mysql修改数据表名
mysql修改数据表名

MySQL修改数据表:1、首先查看数据库中所有的表,代码为:‘SHOW TABLES;’;2、修改表名,代码为:‘ALTER TABLE 旧表名 RENAME [TO] 新表名;’。php中文网还提供MySQL的相关下载、相关课程等内容,供大家免费下载使用。

2553

2023.06.20

MySQL创建存储过程
MySQL创建存储过程

存储程序可以分为存储过程和函数,MySQL中创建存储过程和函数使用的语句分别为CREATE PROCEDURE和CREATE FUNCTION。使用CALL语句调用存储过程智能用输出变量返回值。函数可以从语句外调用(通过引用函数名),也能返回标量值。存储过程也可以调用其他存储过程。php中文网还提供MySQL创建存储过程的相关下载、相关课程等内容,供大家免费下载使用。

1539

2023.06.21

mongodb和mysql的区别
mongodb和mysql的区别

mongodb和mysql的区别:1、数据模型;2、查询语言;3、扩展性和性能;4、可靠性。本专题为大家提供mongodb和mysql的区别的相关的文章、下载、课程内容,供大家免费下载体验。

915

2023.07.18

mysql密码忘了怎么查看
mysql密码忘了怎么查看

MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS 应用软件之一。那么mysql密码忘了怎么办呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

3672

2023.07.19

mysql创建数据库
mysql创建数据库

MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS 应用软件之一。那么mysql怎么创建数据库呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

6348

2023.07.25

mysql默认事务隔离级别
mysql默认事务隔离级别

MySQL是一种广泛使用的关系型数据库管理系统,它支持事务处理。事务是一组数据库操作,它们作为一个逻辑单元被一起执行。为了保证事务的一致性和隔离性,MySQL提供了不同的事务隔离级别。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

1339

2023.08.08

sqlserver和mysql区别
sqlserver和mysql区别

SQL Server和MySQL是两种广泛使用的关系型数据库管理系统。它们具有相似的功能和用途,但在某些方面存在一些显著的区别。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

6611

2023.08.11

mysql忘记密码
mysql忘记密码

MySQL是一种关系型数据库管理系统,关系数据库将数据保存在不同的表中,而不是将所有数据放在一个大仓库内,这样就增加了速度并提高了灵活性。那么忘记mysql密码我们该怎么解决呢?php中文网给大家带来了相关的教程以及其他关于mysql的文章,欢迎大家前来学习阅读。

5662

2023.08.14

Postman身份认证怎么配置
Postman身份认证怎么配置

本专题从实际API接口调试场景出发,讲解Postman身份认证的完整配置流程,包括常见认证协议介绍、授权参数设置、访问令牌填写、OAuth 2.0授权及认证失败排查,帮助用户正确完成接口授权与访问验证。

60

2026.11.06

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn