讲师中心 微信公众号
AI工具推荐 视频效率加速

如何针对MySQL中的Text/Blob大字段进行存储与读取优化?

落磊吖_8954

落磊吖_8954

发布时间:2026-06-22 06:43:37

|

1027人浏览过

|

来源于php中文网

原创

TEXT/BLOB字段查询慢因InnoDB将超768字节内容存溢出页,主记录仅留20字节指针,导致多次随机I/O;ORDER BY或全字段映射易引发OOM或缓存污染;优化需避免SELECT *、用虚拟列哈希过滤、压缩在应用层、大文本应移至对象存储。

如何针对mysql中的text/blob大字段进行存储与读取优化?

TEXT/BLOB字段为什么一查就慢

因为InnoDB默认把超过768字节的TEXT或BLOB值挪到独立溢出页,主记录只留20字节指针。一次SELECT *看似只读1行,实际要触发多次随机I/O——先读主页,再跳去读一个或多个溢出页。机械盘上延迟明显,SSD上也容易打爆buffer pool。

更麻烦的是:如果查询带ORDER BY content或GROUP BY content,MySQL会把整段内容拉进内存排序,sort_buffer_size不够直接OOM;用ORM自动映射全字段时,客户端内存也可能被撑爆。

  • EXPLAIN里type=ALL + rows极大,但Extra没写Using index,大概率是大字段拖了后腿
  • SHOW ENGINE INNODB STATUS中看到Buffer pool hit rate骤降,说明大字段正在污染缓存
  • 慢查询日志里语句本身不复杂,但Query_time动辄秒级,且Rows_examined远大于Rows_sent

必须存数据库时,怎么选类型和压缩

存文本别用BLOB——它不走字符集校验,ORDER BY、LIKE 'xxx%'、前缀索引全失效。一律改用MEDIUMTEXT(上限16MB),并显式指定字符集:

ALTER TABLE log MODIFY content MEDIUMTEXT CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci;

压缩必须在应用层做,MySQL的COMPRESS()函数返回zlib二进制,客户端得配套解压,且压缩后字段类型要升级(比如原BLOB→MEDIUMBLOB),否则可能截断。

MySQL
MySQL

编写正确的MySQL查询,避免字符集、索引和锁方面的常见陷阱。

下载
  • 纯文本压缩率高(60%~80%),JSON/HTML/日志都适合;已压缩图片、PDF再压基本无效,还白耗CPU
  • 别对压缩后字段建索引——二进制无语义,LIKE和前缀索引全失效
  • 如果业务强依赖事务原子性(如审计日志必须和主记录一起提交),压缩是唯一可行的库内方案

查询时绕开大字段的三种硬招

核心目标:让执行计划不触碰溢出页。以下写法MySQL 5.7+和8.0均有效,无需改应用代码。

  • 永远不用SELECT *,显式列出非大字段:SELECT id, title, created_at FROM article,确保Extra里不出现Using filesort后还加载content
  • 需要按内容过滤但又不想读全文?加虚拟列哈希:ALTER TABLE article ADD COLUMN content_hash CHAR(32) AS (MD5(content)) STORED;,再建索引CREATE INDEX idx_content_hash ON article(content_hash),查询时写WHERE content_hash = MD5('xxx') AND content = 'xxx'(后半段防哈希碰撞)
  • 真要读大字段内容?用SUBSTRING(content, 1, 1024)分块取,或应用层流式读取,避免一次性载入几MB到内存

彻底甩掉大字段的终极方案

绝大多数场景下,LONGBLOB或LONGTEXT根本不该进MySQL——它不是为扛1MB+数据设计的。真实可行的路径只有一条:文件系统或对象存储存正文,数据库只留元数据。

  • 删掉原content LONGBLOB列,新增file_path VARCHAR(512),上传时生成uuid4()+ext存到/data/uploads/或OSS/S3
  • Web服务收到请求后,直接readfile()或curl对象存储URL返回流,完全绕过MySQL网络传输
  • 务必加清理机制:定时任务扫描file_path未被任何记录引用的文件,90天未关联则rm,否则磁盘必涨满

这个方案的复杂点不在技术实现,而在于业务逻辑里所有涉及“读内容”的地方,都要从SELECT content切换成GET /files/{path}——漏掉一处,性能优化就归零。

热门AI工具

更多
DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

VibeKnow
VibeKnow Hot

一款AI视频创作工具,主要用于全球首个AI知识视频创作平台,文档、文章、网页,一键生成视频,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

PixPix
PixPix Hot

PixPix是一款面向电商视觉生产的AI商品图生成工具。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

音述AI
音述AI Hot

一款AI音频处理工具,主要用于音述AI是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区,适合需要提升相关任务效率的用户。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

相关专题

更多
大数据分析工具有哪四个
大数据分析工具有哪四个

大数据分析的四个工具分别是rapidminer、Hpcc、Hadoop和Pentaho bi。大数据分析用于从各种来源生成的原始数据中提取有价值的数据。这些数据帮助我们获得有意义的见解、隐藏的模式、未知的相关性、市场趋势等等,具体取决于行业。大数据分析的主要动机是提供有价值的见解,以便为未来做出更好的决策。php中文网为大家带来了大数据分析的相关教程、以及相关文章等内容,供大家免费下载使用。

4696

2023.06.21

Java 大数据处理基础(Hadoop 方向)
Java 大数据处理基础(Hadoop 方向)

本专题聚焦 Java 在大数据离线处理场景中的核心应用,系统讲解 Hadoop 生态的基本原理、HDFS 文件系统操作、MapReduce 编程模型、作业优化策略以及常见数据处理流程。通过实际示例(如日志分析、批处理任务),帮助学习者掌握使用 Java 构建高效大数据处理程序的完整方法。

1229

2025.12.08

大数据专业学习教程
大数据专业学习教程

本专题整合了大数据专业学习相关教程,阅读专题下面的文章了解更多详细内容。

223

2026.01.05

python处理大数据合集
python处理大数据合集

本专题整合了python处理大数据相关教程,阅读专题下面的文章了解更多详细内容。

466

2026.01.05

mysql修改数据表名
mysql修改数据表名

MySQL修改数据表:1、首先查看数据库中所有的表,代码为:‘SHOW TABLES;’;2、修改表名,代码为:‘ALTER TABLE 旧表名 RENAME [TO] 新表名;’。php中文网还提供MySQL的相关下载、相关课程等内容,供大家免费下载使用。

2113

2023.06.20

MySQL创建存储过程
MySQL创建存储过程

存储程序可以分为存储过程和函数,MySQL中创建存储过程和函数使用的语句分别为CREATE PROCEDURE和CREATE FUNCTION。使用CALL语句调用存储过程智能用输出变量返回值。函数可以从语句外调用(通过引用函数名),也能返回标量值。存储过程也可以调用其他存储过程。php中文网还提供MySQL创建存储过程的相关下载、相关课程等内容,供大家免费下载使用。

1299

2023.06.21

mongodb和mysql的区别
mongodb和mysql的区别

mongodb和mysql的区别:1、数据模型;2、查询语言;3、扩展性和性能;4、可靠性。本专题为大家提供mongodb和mysql的区别的相关的文章、下载、课程内容,供大家免费下载体验。

755

2023.07.18

mysql密码忘了怎么查看
mysql密码忘了怎么查看

MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS 应用软件之一。那么mysql密码忘了怎么办呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2872

2023.07.19

FrankenPHP集成Laravel详细教程
FrankenPHP集成Laravel详细教程

本专题提供FrankenPHP集成Laravel的详细配置指南,全面解析运行原理、开发环境搭建、Caddyfile配置、Octane工作模式、数据库连接、队列任务、定时任务和生产环境优化,解决部署过程中常见的报错与兼容性问题。

0

2026.10.08

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL vs MySQL
PostgreSQL vs MySQL

共1课时 | 181人学习

使用phpenv集成环境安装极致CMS
使用phpenv集成环境安装极致CMS

共2课时 | 289人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn