讲师中心 微信公众号
AI工具推荐 视频效率加速

携程MySQL客户端二进制大字段Hyperf读取解析

胖雪大大_2329

胖雪大大_2329

发布时间:2026-08-17 14:09:26

|

823人浏览过

|

来源于php中文网

原创

Hyperf 读取 MySQL BLOB 字段易触发 OOM,因 PDO 默认启用缓冲模式(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY=true),需在 prepare 前设为 false,并手动 unset 大字段释放内存。

携程mysql客户端二进制大字段hyperf读取解析

Hyperf 读取 MySQL 二进制大字段(如 BLOBMEDIUMBLOBLONGBLOB)时,不加控制会直接加载进内存,极易触发 OOM —— 尤其在连表 + 大字段 + 高并发场景下,不是数据有问题,是 PDO 缓冲模式没关。

为什么 BLOB 字段一查就内存爆炸

Hyperf 默认用 PDO 执行查询,而 PDO::MYSQL_ATTR_USE_BUFFERED_QUERY 默认为 true。这意味着:哪怕你只 fetch() 一行,PDO 也会把整张结果集(含所有 BLOB 内容)一次性从 MySQL 拉到 PHP 进程内存里缓存起来。

协程再轻量,也扛不住单次加载几十 MB 的二进制块;Worker 进程常驻,内存不释放,泄漏会累积;错误日志只报 Fatal error: Allowed memory size of ... exhausted,根本看不出是 BLOB 搞的鬼。

  • 连表后结果行数翻倍,BLOB 字段被重复拷贝多次(比如 users JOIN avatars
  • DB::select() 或 ORM 的 get() 方法底层都走缓冲模式,表面“逐行”,实际早全载入
  • Hyperf 3.1.66 及之前版本,cursor() 方法不真正穿透到底层游标流式读取,仍可能触发缓冲

PDO::MYSQL_ATTR_USE_BUFFERED_QUERY = false 必须在 prepare() 前设置

这是最关键的一步,设晚了完全无效。必须在获取 PDO 实例后、调用 prepare() 前完成属性设置:

MySQL
MySQL

编写正确的MySQL查询,避免字符集、索引和锁方面的常见陷阱。

下载
$pdo = Db::getPdo();
$pdo->setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false); // ✅ 正确位置
$stmt = $pdo->prepare('SELECT id, name, avatar FROM users WHERE status = ?');
$stmt->execute([1]);
while ($row = $stmt->fetch(PDO::FETCH_ASSOC)) {
    // $row['avatar'] 是原始二进制字符串,可按需处理(如写文件、计算 hash、跳过)
    if (isset($row['avatar']) && strlen($row['avatar']) > 1024 * 1024) {
        // 超过 1MB 的 BLOB,不参与后续业务逻辑,及时 unset
        unset($row['avatar']);
    }
    processUserRow($row);
}
  • 不能用 fetchAll()get()cursor() 等封装方法,它们绕不开缓冲层
  • 如果要用 ORM,必须手动禁用缓冲后,再通过 $model->newQuery()->getConnection()->getPdo() 拿到底层 PDO 实例
  • 设完属性后,prepare() 必须用原生 SQL,不要混用 Query Builder 的参数绑定(部分版本存在绑定失效风险)

大字段读取后的内存管理要点

即使关了缓冲,fetch() 出来的 $row 仍包含完整二进制内容,PHP 不会自动释放。必须主动干预:

  • 对确定不用的大字段(如 raw_log_datathumbnail),在循环体内立即 unset($row['field_name'])
  • 避免在循环外保存整个 $row 数组(比如塞进一个全局 $allRows),否则等于又建了一次内存副本
  • 若需传输或存储 BLOB,优先用流式写入(如 file_put_contents($path, $row['blob'], FILE_APPEND | LOCK_EX)),而非先拼接再写
  • 注意 memory_limit 设置:Hyperf Worker 进程生命周期长,单次请求占用的内存不会随请求结束自动归零,残留引用会导致持续增长

连接池配置要配合大字段场景调低 max_connections

每个连接在 fetch 大字段时都会独占一份内存副本,连接数越多,并发加载压力越大。此时盲目提高 max_connections 只会让 OOM 更快到来:

  • 假设单个 BLOB 平均 2MB,每连接并发处理 5 行 → 单连接峰值内存 ≈ 10MB
  • 8 个 Worker × max_connections=10 → 最多 80 连接 → 理论峰值内存 ≈ 800MB,远超常见容器限制
  • 建议将 max_connections 压到 Worker 数 × 2~3(如 8 Worker 设为 24),同时确保 min_connections ≥ 1 避免首请求建连延迟
  • MySQL 侧也要检查 max_allowed_packet 是否足够(默认 4MB),否则大字段会被截断,且错误不明显

真正麻烦的从来不是“怎么读出来”,而是“读出来之后,那一坨二进制还赖在内存里不肯走”——unset 不是可选项,是必做动作;buffered_query = false 不是高级技巧,是保命开关。

相关文章

携程旅行
携程旅行

携程旅行是一款能够帮助用户在假期出门旅行的旅行用app,也可以帮助用户出差订酒店和机票,还可以给用户提供旅行攻略,用户也可以在里面查询目的地附近的美食和人文。有需要的小伙伴快来保存下载体验吧!

下载

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

超级简历WonderCV

一款AI办公效率工具,主要用于免费求职简历模版下载制作,应届生职场人必备简历制作神器,适合需要提升相关任务效率的用户。

AionClaw
AionClaw Hot

AionClaw是一款面向办公、创作和编程任务的AI桌面智能体。

相关专题

更多
php文件怎么打开
php文件怎么打开

打开php文件步骤:1、选择文本编辑器;2、在选择的文本编辑器中,创建一个新的文件,并将其保存为.php文件;3、在创建的PHP文件中,编写PHP代码;4、要在本地计算机上运行PHP文件,需要设置一个服务器环境;5、安装服务器环境后,需要将PHP文件放入服务器目录中;6、一旦将PHP文件放入服务器目录中,就可以通过浏览器来运行它。

9064

2023.09.01

php怎么取出数组的前几个元素
php怎么取出数组的前几个元素

取出php数组的前几个元素的方法有使用array_slice()函数、使用array_splice()函数、使用循环遍历、使用array_slice()函数和array_values()函数等。本专题为大家提供php数组相关的文章、下载、课程内容,供大家免费下载体验。

5501

2023.10.11

php反序列化失败怎么办
php反序列化失败怎么办

php反序列化失败的解决办法检查序列化数据。检查类定义、检查错误日志、更新PHP版本和应用安全措施等。本专题为大家提供php反序列化相关的文章、下载、课程内容,供大家免费下载体验。

2015

2023.10.11

php怎么连接mssql数据库
php怎么连接mssql数据库

连接方法:1、通过mssql_系列函数;2、通过sqlsrv_系列函数;3、通过odbc方式连接;4、通过PDO方式;5、通过COM方式连接。想了解php怎么连接mssql数据库的详细内容,可以访问下面的文章。

3408

2023.10.23

php连接mssql数据库的方法
php连接mssql数据库的方法

php连接mssql数据库的方法有使用PHP的MSSQL扩展、使用PDO等。想了解更多php连接mssql数据库相关内容,可以阅读本专题下面的文章。

4094

2023.10.23

html怎么上传
html怎么上传

html通过使用HTML表单、JavaScript和PHP上传。更多关于html的问题详细请看本专题下面的文章。php中文网欢迎大家前来学习。

3191

2023.11.03

PHP出现乱码怎么解决
PHP出现乱码怎么解决

PHP出现乱码可以通过修改PHP文件头部的字符编码设置、检查PHP文件的编码格式、检查数据库连接设置和检查HTML页面的字符编码设置来解决。更多关于php乱码的问题详情请看本专题下面的文章。php中文网欢迎大家前来学习。

4537

2023.11.09

php文件怎么在手机上打开
php文件怎么在手机上打开

php文件在手机上打开需要在手机上搭建一个能够运行php的服务器环境,并将php文件上传到服务器上。再在手机上的浏览器中输入服务器的IP地址或域名,加上php文件的路径,即可打开php文件并查看其内容。更多关于php相关问题,详情请看本专题下面的文章。php中文网欢迎大家前来学习。

3542

2023.11.13

Conan私有仓库搭建教程
Conan私有仓库搭建教程

本专题系统的讲解Conan私有仓库的搭建流程,涵盖仓库服务部署、存储目录配置、用户认证、权限划分和远程地址添加,并介绍内部C++依赖包的上传、下载及版本维护方法。

0

2026.09.22

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL vs MySQL
PostgreSQL vs MySQL

共1课时 | 169人学习

使用phpenv集成环境安装极致CMS
使用phpenv集成环境安装极致CMS

共2课时 | 273人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn