讲师中心 微信公众号
AI工具推荐 视频效率加速

怎样在SQL存储过程中处理大对象BLOB数据的分片存储

老芳酱_1374

老芳酱_1374

发布时间:2026-11-06 11:38:29

|

414人浏览过

|

来源于php中文网

原创

Oracle必须用EMPTY_CLOB()占位再FOR UPDATE锁定,否则INSERT带字符串值到CLOB字段会失败;SQL Server需用.WRITE()分块覆盖;PostgreSQL应使用lo_from_bytea()获取OID后存业务表。

怎样在sql存储过程中处理大对象blob数据的分片存储

Oracle必须用EMPTY_CLOB()占位再FOR UPDATE锁定

直接INSERT带字符串值到CLOB字段会失败——超4000字节报ORA-01704,传空字符串或NULL则后续DBMS_LOB.WRITEAPPEND会静默失败或报ORA-22275。你不是在插值,而是在分配一个可写的LOB定位器。

正确路径分三步:

  • INSERT INTO t(id, clob_col) VALUES (1, EMPTY_CLOB()) —— 必须用EMPTY_CLOB(),不能用''或NULL
  • SELECT clob_col INTO :loc FROM t WHERE id = 1 FOR UPDATE —— 缺FOR UPDATE就锁不住行,写入必错
  • DBMS_LOB.WRITEAPPEND(:loc, LENGTH(chunk), chunk) —— chunk必须是VARCHAR2,且≤32767字节

SQL Server用.WRITE()分块覆盖,别拼接

表面看UPDATE t SET blob_col = @data能用,但实际极不可靠:客户端传入的varbinary(max)若超网络max_packet_size(默认4MB),会在协议层被静默截断;T-SQL里@a + @b + @c拼接会触发隐式转换,中间结果可能被截为8000字节。

安全写法只有一条:

  • 用UPDATE t SET blob_col.WRITE(@chunk, @offset, LEN(@chunk)) WHERE id = @id
  • @offset从0开始,每次写入前需查当前长度(DATALENGTH(blob_col))
  • 避免在T-SQL中模拟流式读取——READTEXT/WRITETEXT已弃用,且跨库不兼容

PostgreSQL用lo_from_bytea()获取OID后存业务表

PostgreSQL的lo(大对象)和bytea是两套机制,混用必错。想存客户端上传的二进制数据,不能用lo_import()(它只认服务端本地路径),得走lo_from_bytea()。

关键点:

  • SELECT lo_from_bytea(0, $1) —— 第一个参数为0表示系统自动分配OID;若指定非零OID,要确保未被占用,否则报duplicate key value violates unique constraint
  • 返回值类型是oid,必须存在业务表的OID类型字段里,别用int4接收
  • 操作必须在BEGIN/COMMIT事务块内,PL/pgSQL函数里不会自动包裹事务

分片大小与字符边界容易踩坑

所有数据库的“分片”都不是按任意字节数切,而是受底层单位约束:

  • Oracle:DBMS_LOB.WRITEAPPEND第三个参数是VARCHAR2,最大32767字节;但UTF-8下多字节字符(如中文)可能被截断在中间字节——建议按4000或8000字节切,避开字符边界风险
  • SQL Server:.WRITE()的@offset和@length单位都是字节,但要注意varbinary(max)变量本身在T-SQL中也有隐式长度限制
  • PostgreSQL:lo_get(oid)一次性加载全部内容进内存,>100MB易OOM;真要分片读,只能用lo_open+lo_read在libpq或PL/pgSQL中实现,纯SQL无标准API

最常被忽略的是:Oracle临时CLOB忘了调DBMS_LOB.FREETEMPORARY(),会导致PGA内存持续增长;PostgreSQL没显式COMMIT就调lo_from_bytea(),整个操作直接失败。这些不是警告,是立刻阻断流程的硬性条件。

热门AI工具

更多
UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

音述AI
音述AI Hot

一款AI音频处理工具,主要用于音述AI是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区,适合需要提升相关任务效率的用户。

花生AI
花生AI Hot

一款AI视频创作工具,主要用于B站推出的AI视频创作工具,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

创客贴AI

创客贴AI是一款AI图像与设计工具,AI辅助的智能在线设计工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

相关专题

更多
mysql修改数据表名
mysql修改数据表名

MySQL修改数据表:1、首先查看数据库中所有的表,代码为:‘SHOW TABLES;’;2、修改表名,代码为:‘ALTER TABLE 旧表名 RENAME [TO] 新表名;’。php中文网还提供MySQL的相关下载、相关课程等内容,供大家免费下载使用。

2493

2023.06.20

MySQL创建存储过程
MySQL创建存储过程

存储程序可以分为存储过程和函数,MySQL中创建存储过程和函数使用的语句分别为CREATE PROCEDURE和CREATE FUNCTION。使用CALL语句调用存储过程智能用输出变量返回值。函数可以从语句外调用(通过引用函数名),也能返回标量值。存储过程也可以调用其他存储过程。php中文网还提供MySQL创建存储过程的相关下载、相关课程等内容,供大家免费下载使用。

1519

2023.06.21

mongodb和mysql的区别
mongodb和mysql的区别

mongodb和mysql的区别:1、数据模型;2、查询语言;3、扩展性和性能;4、可靠性。本专题为大家提供mongodb和mysql的区别的相关的文章、下载、课程内容,供大家免费下载体验。

895

2023.07.18

mysql密码忘了怎么查看
mysql密码忘了怎么查看

MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS 应用软件之一。那么mysql密码忘了怎么办呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

3552

2023.07.19

mysql创建数据库
mysql创建数据库

MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS 应用软件之一。那么mysql怎么创建数据库呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

6128

2023.07.25

mysql默认事务隔离级别
mysql默认事务隔离级别

MySQL是一种广泛使用的关系型数据库管理系统,它支持事务处理。事务是一组数据库操作,它们作为一个逻辑单元被一起执行。为了保证事务的一致性和隔离性,MySQL提供了不同的事务隔离级别。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

1299

2023.08.08

sqlserver和mysql区别
sqlserver和mysql区别

SQL Server和MySQL是两种广泛使用的关系型数据库管理系统。它们具有相似的功能和用途,但在某些方面存在一些显著的区别。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

6391

2023.08.11

mysql忘记密码
mysql忘记密码

MySQL是一种关系型数据库管理系统,关系数据库将数据保存在不同的表中,而不是将所有数据放在一个大仓库内,这样就增加了速度并提高了灵活性。那么忘记mysql密码我们该怎么解决呢?php中文网给大家带来了相关的教程以及其他关于mysql的文章,欢迎大家前来学习阅读。

5502

2023.08.14

DBeaver怎么导入数据
DBeaver怎么导入数据

DBeaver数据导入专题,整理Excel、CSV、SQL、TXT等常见文件的数据导入方法,涵盖目标数据库选择、数据表创建、字段映射、数据类型设置及导入参数配置等操作,帮助用户将本地文件中的数据写入数据库,并了解批量导入、重复数据处理和导入失败等常见问题的解决方法。

20

2026.11.05

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn