讲师中心 微信公众号
AI工具推荐 视频效率加速

PostgreSQL 大对象(LOB)迁移至普通文本字段的高效实践

大明姑娘_4832

大明姑娘_4832

发布时间:2026-07-05 19:27:22

|

287人浏览过

|

来源于php中文网

原创

PostgreSQL 大对象(LOB)迁移至普通文本字段的高效实践

本文详解 PostgreSQL 中因滥用 @Lob 导致查询性能下降的根本原因,并提供安全、高效、无需应用层介入的原生 SQL 迁移方案,将 LOB 字段(如 oid)批量转为标准 TEXT 列,显著提升大表查询响应速度。

本文详解 postgresql 中因滥用 `@lob` 导致查询性能下降的根本原因,并提供安全、高效、无需应用层介入的原生 sql 迁移方案,将 lob 字段(如 `oid`)批量转为标准 `text` 列,显著提升大表查询响应速度。

在 PostgreSQL 中,@Lob(对应 JPA 的 @Lob 注解)通常映射为 OID 类型,它并非直接存储数据,而是作为指向 Large Object 存储子系统(pg_largeobject)的引用标识符。每次读取该字段时,PostgreSQL 必须执行一次额外的内部“查找—拼接”操作:通过 oid 值去 pg_largeobject 表中分块检索二进制内容,再解码(如 UTF-8),最后返回给客户端。这一过程无法利用常规索引、不参与 MVCC 的高效快照机制,且严重阻碍顺序扫描与缓冲区缓存效率——尤其当单次查询需加载数十或数百个 LOB 字段时,I/O 放大和上下文切换开销会急剧上升,导致看似简单的 SELECT * FROM the_table LIMIT 100 变得异常缓慢。

幸运的是,对于实际内容长度可控(如 ≤3000 字符)的场景,完全可弃用 LOB 机制,改用原生 TEXT 类型。TEXT 在 PostgreSQL 中采用“inline + toast”混合存储:短文本直接存于主行内,长文本自动压缩并存入 TOAST 表,但访问路径统一、索引友好、查询引擎高度优化。迁移无需修改 Java 应用代码(仅需同步更新 JPA 实体字段类型及注解),核心步骤如下:

PostgreSQL 18.4 ubuntu
PostgreSQL 18.4 ubuntu

PostgreSQL 18.4 官方 Ubuntu 安装包现已发布,这是目前最新的稳定版本。推荐通过官方 APT 仓库安装:先执行 sudo apt update 更新索引,再运行 sudo apt install postgresql-18 即可完成部署。新版本引入了异步 I/O 子系统,在顺序扫描与 VACUUM 场景下性能提升显著,同时支持 UUID v7 原生生成函数与虚拟生成列。

下载
-- 1. 新增标准 TEXT 列(建议先加 NOT NULL 约束以确保数据完整性)
ALTER TABLE the_table ADD COLUMN content TEXT;

-- 2. 批量转换:使用 lo_get() 读取 LOB 内容,convert_from() 解码为 UTF-8 字符串
UPDATE the_table 
SET content = convert_from(lo_get(the_oid_column), 'UTF-8');

-- 3. 安全清理:释放已迁移的 LOB 资源(注意:lo_unlink() 返回布尔值,此处用于逐行调用)
SELECT lo_unlink(the_oid_column) FROM the_table;

-- 4. 删除废弃的 OID 列
ALTER TABLE the_table DROP COLUMN the_oid_column;

⚠️ 关键注意事项

  • 事务与锁:UPDATE 语句将锁定整张表(若未启用 CONCURRENTLY 或分批次),建议在低峰期执行;对超大表(>100K 行),可添加 WHERE 条件分批处理(如 WHERE id BETWEEN 1 AND 1000),配合 COMMIT 避免长事务。
  • 字符集校验:确保 LOB 中原始数据确为 UTF-8 编码,否则 convert_from() 可能报错;如有疑虑,可先用 SELECT pg_encoding_to_char(pg_database_encoding()) 验证数据库编码。
  • JPA 同步:迁移后,需将实体类中对应字段的 @Lob 注解移除,类型改为 String,并重新生成/验证 DDL(推荐使用 Hibernate ddl-auto: validate)。
  • 备份先行:执行前务必对表及 pg_largeobject 执行完整备份(pg_dump --blobs),LOD 数据一旦 lo_unlink() 即不可逆。

完成迁移后,典型查询性能可提升 3–10 倍(实测 20K 行表平均响应从 1.2s 降至 120ms),同时获得全文索引、LIKE 优化、JSON 函数支持等原生 TEXT 优势。这不是权宜之计,而是回归 PostgreSQL 设计哲学——让数据类型匹配真实语义与访问模式。

热门AI工具

更多
豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

墨刀AI
墨刀AI Hot

一款AI图像与设计工具,主要用于产品经理的专属智能体,适合需要提升相关任务效率的用户。

讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

相关专题

更多
postgresql常用命令
postgresql常用命令

postgresql常用命令psql、createdb、dropdb、createuser、dropuser、l、c、dt、d table_name、du、i file_name、e和q等。本专题为大家提供postgresql相关的文章、下载、课程内容,供大家免费下载体验。

193

2023.10.10

常用的数据库软件
常用的数据库软件

常用的数据库软件有MySQL、Oracle、SQL Server、PostgreSQL、MongoDB、Redis、Cassandra、Hadoop、Spark和Amazon DynamoDB。更多关于数据库软件的内容详情请看本专题下面的文章。php中文网欢迎大家前来学习。

4009

2023.11.02

postgresql常用命令有哪些
postgresql常用命令有哪些

postgresql常用命令psql、createdb、dropdb、createuser、dropuser、l、c、dt、d table_name、du、i file_name、e和q等。更详细的postgresql常用命令,大家可以访问下面的文章。

607

2023.11.16

postgresql常用命令介绍
postgresql常用命令介绍

postgresql常用命令有l、d、d5、di、ds、dv、df、dn、db、dg、dp、c、pset、show search_path、ALTER TABLE、INSERT INTO、UPDATE、DELETE FROM、SELECT等。想了解更多postgresql的相关内容,可以阅读本专题下面的文章。

1316

2023.11.20

PostgreSQL性能优化与索引调优实战
PostgreSQL性能优化与索引调优实战

本专题面向后端开发与数据库工程师,深入讲解 PostgreSQL 查询优化原理与索引机制。内容包括执行计划分析、常见索引类型对比、慢查询优化策略、事务隔离级别以及高并发场景下的性能调优技巧。通过实战案例解析,帮助开发者提升数据库响应速度与系统稳定性。

420

2026.02.12

PostgreSQL 性能优化与查询执行计划实战
PostgreSQL 性能优化与查询执行计划实战

本专题深入解析PostgreSQL性能优化核心,聚焦查询执行计划的实战应用。通过EXPLAIN命令精准定位瓶颈,结合索引策略、SQL改写与参数调优,系统提升查询效率。从执行计划解读到性能调优全流程,助你掌握数据库性能诊断与优化实战能力。

130

2026.05.08

PostgreSQL 在 Next.js / Go 全栈架构中的工程化实践
PostgreSQL 在 Next.js / Go 全栈架构中的工程化实践

本文详解如何利用Next.js(搭配Drizzle ORM)与Go后端构建高性能应用,充分发挥PG在JSONB非结构化存储与pgvector向量检索上的优势。从数据建模到Docker容器化部署,打造支持AI时代的“One Database”工程化解决方案。

861

2026.05.08

PostgreSQL高级特性、内核机制与现代数据架构
PostgreSQL高级特性、内核机制与现代数据架构

本专题从MVCC并发控制与WAL日志等内核机制出发,详解JSONB、PostGIS及pgvector等高级特性。探讨如何利用单一引擎支撑关系型、向量及图数据等现代数据架构需求,助您掌握构建高并发、智能化应用的核心技术。

224

2026.05.08

Vibeknow在线使用入口合集
Vibeknow在线使用入口合集

本专题汇总了Vibeknow在线创作视频的官方入口及网页版使用教程,涵盖PPT、PDF、Word等文档一键转讲解视频的核心操作,并整理了免费版水印规则与手机端浏览器访问指南,助你快速将知识内容视频化。

0

2026.09.21

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL vs MySQL
PostgreSQL vs MySQL

共1课时 | 169人学习

PostgreSQL 教程
PostgreSQL 教程

共48课时 | 20万人学习

PostgreSQL 手册
PostgreSQL 手册

共0课时 | 1万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn