讲师中心 微信公众号
AI工具推荐 视频效率加速

怎样在SQL Server 2016存储过程中返回并压缩大型数据集

陌杰同学_6753

陌杰同学_6753

发布时间:2026-10-13 12:21:19

|

742人浏览过

|

来源于php中文网

原创

直接在存储过程中用SELECT返回百万行以上结果集会导致客户端卡死、网络超时和tempdb爆涨,根本原因是传输方式错误;应改用FOR JSON/FOR XML聚合后通过输出参数返回、分页流式响应或临时表+bcp导出压缩文件等方式绕过瓶颈。

怎样在sql server 2016存储过程中返回并压缩大型数据集

直接在存储过程中用 SELECT 返回百万行以上结果集,客户端会卡死、网络超时、tempdb 爆涨——这不是数据量“大”的问题,而是传输方式错了。SQL Server 2016 不支持原生结果集压缩(如 gzip),但可以绕过网络瓶颈,把压缩逻辑下沉到应用层或改用更可控的返回机制。

用输出参数 + FOR XML 或 FOR JSON 手动拼接压缩载荷

SQL Server 2016 支持 FOR JSON AUTO(需 SP2+)和 FOR XML,可将多行结果聚合成单个字符串字段,再通过输出参数返回。这避免了多结果集协议开销,也便于应用层调用 zlib / Gzip 压缩。

  • FOR JSON 更轻量,但注意:JSON 字符串长度受 varchar(max) 限制(2GB),实际建议单次不超过 50MB,否则 CONCAT 或字符串拼接易触发隐式转换失败
  • 必须加 SET CONCAT_NULL_YIELDS_NULL OFF,否则含 NULL 列时整个 JSON 构造失败
  • 输出参数类型必须是 varchar(max) 或 nvarchar(max),不能用 text(已弃用)
  • 示例片段:
    DECLARE @json_output nvarchar(max);<br>SELECT @json_output = (SELECT id, name, amount FROM orders WHERE status = 'shipped' FOR JSON AUTO);<br>SELECT @json_output AS result;

分页返回 + 客户端流式解压(推荐用于 Web API 场景)

当调用方是 ASP.NET 或 Node.js 等支持流式响应的环境时,不要一次性取完所有数据。让存储过程只负责分页逻辑,压缩由 HTTP 层自动完成(如 IIS 启用 dynamic compression、Kestrel 配置 ResponseCompression)。

  • 存储过程用 OFFSET @page OFFSET @size ROWS FETCH NEXT @size ROWS ONLY,但注意:2016 的 OFFSET/FETCH 在深度分页(>10 万行偏移)时性能陡降,务必在 ORDER BY 字段建覆盖索引
  • 禁止在 WHERE 中对索引字段用函数(如 YEAR(create_time)),否则索引失效,OFFSET 变成全表扫描
  • 客户端首次请求传 page=0,服务端返回 TotalCount(需额外 SELECT COUNT(*) 或用估算值),后续按需拉取
  • ASP.NET 中用 SqlDataReader 配合 yield return 流式读取,避免 DataSet.Fill() 一次性加载全部内存

用临时表 + BULK INSERT 导出到文件再压缩(适合后台批处理)

如果目标是生成压缩包供下游系统下载(如每日订单快照),别让存储过程“返回”数据,让它写文件,再由外部脚本压缩。

  • 在存储过程中创建本地临时表(#orders_export),INSERT 分批结果(每批 ≤ 5000 行,带显式事务)
  • 用 xp_cmdshell 调用 bcp 导出:bcp "SELECT * FROM #orders_export" queryout "D:\export\orders_20260929.csv" -c -t"," -S localhost -T;注意:需启用 xp_cmdshell 且 SQL Server 服务账户有写权限
  • 导出后立即调用 7z a -tzip D:\export\orders_20260929.zip D:\export\orders_20260929.csv(需提前部署 7-Zip)
  • 风险点:临时表名不能重复,建议加 RAND() 后缀;bcp 不支持 UTF-8,中文需用 -C 65001 参数(SQL Server 2016 SP2+)

真正容易被忽略的是:所谓“压缩数据集”,本质是减少网络传输字节或磁盘 IO,而不是让 SQL Server 自己做压缩计算。SQL Server 2016 没有 COMPRESS() 函数(那是 2016 SP1+ 才加的),硬要在 T-SQL 里做 base64 或 zlib 编码只会拖慢执行、撑爆 tempdb。优先把压缩交给更擅长的环节——HTTP 层、应用进程或 OS 工具。

热门AI工具

更多
WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

PixPix
PixPix Hot

PixPix是一款面向电商视觉生产的AI商品图生成工具。

立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

VibeKnow
VibeKnow Hot

一款AI视频创作工具,主要用于全球首个AI知识视频创作平台,文档、文章、网页,一键生成视频,适合需要提升相关任务效率的用户。

二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

相关专题

更多
sqlserver和mysql区别
sqlserver和mysql区别

SQL Server和MySQL是两种广泛使用的关系型数据库管理系统。它们具有相似的功能和用途,但在某些方面存在一些显著的区别。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

5491

2023.08.11

数据库三范式
数据库三范式

数据库三范式是一种设计规范,用于规范化关系型数据库中的数据结构,它通过消除冗余数据、提高数据库性能和数据一致性,提供了一种有效的数据库设计方法。本专题提供数据库三范式相关的文章、下载和课程。

2685

2023.06.29

如何删除数据库
如何删除数据库

删除数据库是指在MySQL中完全移除一个数据库及其所包含的所有数据和结构,作用包括:1、释放存储空间;2、确保数据的安全性;3、提高数据库的整体性能,加速查询和操作的执行速度。尽管删除数据库具有一些好处,但在执行任何删除操作之前,务必谨慎操作,并备份重要的数据。删除数据库将永久性地删除所有相关数据和结构,无法回滚。

3901

2023.08.14

vb怎么连接数据库
vb怎么连接数据库

在VB中,连接数据库通常使用ADO(ActiveX 数据对象)或 DAO(Data Access Objects)这两个技术来实现:1、引入ADO库;2、创建ADO连接对象;3、配置连接字符串;4、打开连接;5、执行SQL语句;6、处理查询结果;7、关闭连接即可。

2971

2023.08.31

MySQL恢复数据库
MySQL恢复数据库

MySQL恢复数据库的方法有使用物理备份恢复、使用逻辑备份恢复、使用二进制日志恢复和使用数据库复制进行恢复等。本专题为大家提供MySQL数据库相关的文章、下载、课程内容,供大家免费下载体验。

947

2023.09.05

vb中怎么连接access数据库
vb中怎么连接access数据库

vb中连接access数据库的步骤包括引用必要的命名空间、创建连接字符串、创建连接对象、打开连接、执行SQL语句和关闭连接。本专题为大家提供连接access数据库相关的文章、下载、课程内容,供大家免费下载体验。

2607

2023.10.09

数据库对象名无效怎么解决
数据库对象名无效怎么解决

数据库对象名无效解决办法:1、检查使用的对象名是否正确,确保没有拼写错误;2、检查数据库中是否已存在具有相同名称的对象,如果是,请更改对象名为一个不同的名称,然后重新创建;3、确保在连接数据库时使用了正确的用户名、密码和数据库名称;4、尝试重启数据库服务,然后再次尝试创建或使用对象;5、尝试更新驱动程序,然后再次尝试创建或使用对象。

2607

2023.10.16

vb连接access数据库的方法
vb连接access数据库的方法

vb连接access数据库方法:1、使用ADO连接,首先导入System.Data.OleDb模块,然后定义一个连接字符串,接着创建一个OleDbConnection对象并使用Open() 方法打开连接;2、使用DAO连接,首先导入 Microsoft.Jet.OLEDB模块,然后定义一个连接字符串,接着创建一个JetConnection对象并使用Open()方法打开连接即可。

2873

2023.10.16

OpenJDK JVM参数怎么调优
OpenJDK JVM参数怎么调优

Java应用运行缓慢,如何调整JVM参数?本专题介绍OpenJDK JVM性能调优的基本流程,涵盖性能指标确认、运行数据采集、内存配置和垃圾回收分析,帮助你先定位瓶颈,再通过对照测试验证效果,避免直接套用参数而影响应用稳定性。

0

2026.10.16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn