讲师中心 微信公众号

工具推荐

视频效率加速
Seko
Seko

AI短剧一键生成成片

AniShort
AniShort

AI短剧协同制作平台

立刻MV
立刻MV

低成本歌曲 MV、视频生成

剧云
剧云

中文短剧剧本制作平台

MySQL存储过程中如何实现类似分页的流式游标处理

星丽吖_4762

星丽吖_4762

发布时间:2026-11-19 10:27:17

|

992人浏览过

|

来源于php中文网

原创

MySQL游标“分页式流式处理”本质是伪流式,靠逐行FETCH与及时CLOSE缓解内存压力;真流式需应用层读取或SELECT INTO OUTFILE配合外部工具。

mysql存储过程中如何实现类似分页的流式游标处理

MySQL存储过程里用游标做“分页式流式处理”,本质是伪流式——它不真正流式传输数据,而是靠逐行 FETCH + 及时释放来缓解内存压力;真要处理大文本或海量行,得换应用层流式读,或用 SELECT ... INTO OUTFILE 配合外部工具。

为什么不能把游标当真流式用

游标打开后,MySQL 会把整行结果加载进内存。如果某列是几 MB 的 TEXT 或 MEDIUMTEXT,而你又没及时 CLOSE 游标,很容易触发 Out of memory 或 Packet too large 错误(尤其 max_allowed_packet 设得偏小的时候)。更隐蔽的问题是:即使你只 FETCH 一行,底层仍可能预分配较大缓冲区,且已读行的内存不由你控制释放,全靠 MySQL 内部 GC。

  • max_allowed_packet 必须 ≥ 单行最大文本长度 + 其他字段开销,否则 OPEN cursor_name 直接报错
  • 游标未 CLOSE 前,连接持有的内存不会自动回收,长时间循环易 OOM
  • FETCH 操作本身不释放已读行内存,不可控

游标分页逻辑必须绕开 OFFSET

别在存储过程里写 LIMIT offset, size 模拟分页——那不是游标分页,是传统分页的低效变体,深度分页照样扫描前 N 行。真正的游标分页靠 WHERE 条件定位边界,例如基于自增 id 或时间戳 created_at:

SELECT id, title, content FROM articles 
WHERE id > 10000 
ORDER BY id ASC 
LIMIT 100;
  • 首页用无条件 ORDER BY ... LIMIT 起手
  • 后续页传入上一页末尾的 last_id,用 WHERE id > last_id 直接跳到索引位置
  • 若排序字段不唯一(如 score),必须补辅助字段: WHERE (score
  • 这个 WHERE 条件必须和 ORDER BY 字段严格一致,否则索引失效

存储过程里安全用游标的硬性顺序

顺序错一个字,就可能死循环或漏数据。以下四步缺一不可,且顺序不能调:

win可用的mysql指令skill
win可用的mysql指令skill

安装、修复、更新或打包一个基于 Python 和 PyMySQL 实现的 Windows `mysql` 命令。适用于用户希望在 PowerShell/CMD 中输入 `mysql` 时重定向到 Python 实现、需要交互式输入 MySQL 连接信息、需要同步到当前用户本地 bin 目录,或需要将该能力封装成可公开复用的 Codex skill。

下载
  • 先 DECLARE 所有变量,包括 done(建议用 INT DEFAULT 0 或 BOOLEAN DEFAULT FALSE)
  • 再 DECLARE CONTINUE HANDLER FOR NOT FOUND —— 必须在 OPEN 之前,否则句柄不生效
  • 然后 DECLARE CURSOR FOR ...
  • 最后 OPEN、FETCH、CLOSE

常见错误:把 HANDLER 放在 OPEN 后面,导致游标读到末尾时不触发 SET done = 1,后续 FETCH 继续执行,done 始终为 FALSE,陷入无限循环。

大文本字段处理必须收缩字段+立刻落地

含 TEXT 字段的游标,最危险的操作是 FETCH 后直接 SELECT 输出——这会让客户端也缓存全文本,加重网络和内存负担。正确做法是只取必要字段,并在 FETCH 后立刻做业务动作:

  • 明确指定字段,比如 SELECT id, article_content FROM posts WHERE ...,绝不用 SELECT *
  • FETCH 到 content 后,立刻 UPDATE 或 INSERT INTO log_table,而不是拼 CONCAT 或二次加工
  • 每批处理完(如 1000 行),主动 CLOSE 并 DEALLOCATE 游标,再重新 DECLARE 新游标分页读取
  • 高并发下,每轮循环末尾加 DO SLEEP(0.01)(需 mysql.sys 权限),缓解 CPU 和锁竞争

真正棘手的场景(比如 GB 级日志表清洗),游标只是权宜之计;优先考虑应用层分批拉取,或用 mysqldump --where / SELECT ... INTO OUTFILE 导出后交由 Python/Go 流式处理。

热门AI工具

更多
立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

函子Zion

一款支持AI搭建、可视化编辑和多端发布的全栈无代码开发平台。

墨刀AI
墨刀AI Hot

一款AI图像与设计工具,主要用于产品经理的专属智能体,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

PixTV
PixTV Hot

PixTV是一款面向AIGC内容创作的AI视频生成工具。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

相关专题

更多
数据分析工具有哪些
数据分析工具有哪些

数据分析工具有Excel、SQL、Python、R、Tableau、Power BI、SAS、SPSS和MATLAB等。详细介绍:1、Excel,具有强大的计算和数据处理功能;2、SQL,可以进行数据查询、过滤、排序、聚合等操作;3、Python,拥有丰富的数据分析库;4、R,拥有丰富的统计分析库和图形库;5、Tableau,提供了直观易用的用户界面等等。

5103

2023.10.12

SQL中distinct的用法
SQL中distinct的用法

SQL中distinct的语法是“SELECT DISTINCT column1, column2,...,FROM table_name;”。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

1031

2023.10.27

SQL中months_between使用方法
SQL中months_between使用方法

在SQL中,MONTHS_BETWEEN 是一个常见的函数,用于计算两个日期之间的月份差。想了解更多SQL的相关内容,可以阅读本专题下面的文章。

1349

2024.02.23

SQL出现5120错误解决方法
SQL出现5120错误解决方法

SQL Server错误5120是由于没有足够的权限来访问或操作指定的数据库或文件引起的。想了解更多sql错误的相关内容,可以阅读本专题下面的文章。

7201

2024.03.06

sql procedure语法错误解决方法
sql procedure语法错误解决方法

sql procedure语法错误解决办法:1、仔细检查错误消息;2、检查语法规则;3、检查括号和引号;4、检查变量和参数;5、检查关键字和函数;6、逐步调试;7、参考文档和示例。想了解更多语法错误的相关内容,可以阅读本专题下面的文章。

3823

2024.03.06

oracle数据库运行sql方法
oracle数据库运行sql方法

运行sql步骤包括:打开sql plus工具并连接到数据库。在提示符下输入sql语句。按enter键运行该语句。查看结果,错误消息或退出sql plus。想了解更多oracle数据库的相关内容,可以阅读本专题下面的文章。

7180

2024.04.07

sql中where的含义
sql中where的含义

sql中where子句用于从表中过滤数据,它基于指定条件选择特定的行。想了解更多where的相关内容,可以阅读本专题下面的文章。

10101

2024.04.29

sql中删除表的语句是什么
sql中删除表的语句是什么

sql中用于删除表的语句是drop table。语法为drop table table_name;该语句将永久删除指定表的表和数据。想了解更多sql的相关内容,可以阅读本专题下面的文章。

1370

2024.04.29

GoFrame框架Web开发与路由中间件
GoFrame框架Web开发与路由中间件

本专题聚焦GoFrame框架的Web开发,拆解路由注册与匹配规则、请求参数获取、参数校验与中间件执行顺序,说明统一响应、JWT鉴权、文件上传与接口文档生成的落地方式,并补充优雅重启与测试实践。

20

2026.11.17

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn