MySQL游标“分页式流式处理”本质是伪流式,靠逐行FETCH与及时CLOSE缓解内存压力;真流式需应用层读取或SELECT INTO OUTFILE配合外部工具。

MySQL存储过程里用游标做“分页式流式处理”,本质是伪流式——它不真正流式传输数据,而是靠逐行 FETCH + 及时释放来缓解内存压力;真要处理大文本或海量行,得换应用层流式读,或用 SELECT ... INTO OUTFILE 配合外部工具。
为什么不能把游标当真流式用
游标打开后,MySQL 会把整行结果加载进内存。如果某列是几 MB 的 TEXT 或 MEDIUMTEXT,而你又没及时 CLOSE 游标,很容易触发 Out of memory 或 Packet too large 错误(尤其 max_allowed_packet 设得偏小的时候)。更隐蔽的问题是:即使你只 FETCH 一行,底层仍可能预分配较大缓冲区,且已读行的内存不由你控制释放,全靠 MySQL 内部 GC。
-
max_allowed_packet必须 ≥ 单行最大文本长度 + 其他字段开销,否则OPEN cursor_name直接报错 - 游标未
CLOSE前,连接持有的内存不会自动回收,长时间循环易 OOM -
FETCH操作本身不释放已读行内存,不可控
游标分页逻辑必须绕开 OFFSET
别在存储过程里写 LIMIT offset, size 模拟分页——那不是游标分页,是传统分页的低效变体,深度分页照样扫描前 N 行。真正的游标分页靠 WHERE 条件定位边界,例如基于自增 id 或时间戳 created_at:
SELECT id, title, content FROM articles WHERE id > 10000 ORDER BY id ASC LIMIT 100;
- 首页用无条件
ORDER BY ... LIMIT起手 - 后续页传入上一页末尾的
last_id,用WHERE id > last_id直接跳到索引位置 - 若排序字段不唯一(如
score),必须补辅助字段:WHERE (score - 这个 WHERE 条件必须和
ORDER BY字段严格一致,否则索引失效
存储过程里安全用游标的硬性顺序
顺序错一个字,就可能死循环或漏数据。以下四步缺一不可,且顺序不能调:
安装、修复、更新或打包一个基于 Python 和 PyMySQL 实现的 Windows `mysql` 命令。适用于用户希望在 PowerShell/CMD 中输入 `mysql` 时重定向到 Python 实现、需要交互式输入 MySQL 连接信息、需要同步到当前用户本地 bin 目录,或需要将该能力封装成可公开复用的 Codex skill。
- 先
DECLARE所有变量,包括done(建议用INT DEFAULT 0或BOOLEAN DEFAULT FALSE) - 再
DECLARE CONTINUE HANDLER FOR NOT FOUND—— 必须在OPEN之前,否则句柄不生效 - 然后
DECLARE CURSOR FOR ... - 最后
OPEN、FETCH、CLOSE
常见错误:把 HANDLER 放在 OPEN 后面,导致游标读到末尾时不触发 SET done = 1,后续 FETCH 继续执行,done 始终为 FALSE,陷入无限循环。
大文本字段处理必须收缩字段+立刻落地
含 TEXT 字段的游标,最危险的操作是 FETCH 后直接 SELECT 输出——这会让客户端也缓存全文本,加重网络和内存负担。正确做法是只取必要字段,并在 FETCH 后立刻做业务动作:
- 明确指定字段,比如
SELECT id, article_content FROM posts WHERE ...,绝不用SELECT * -
FETCH到content后,立刻UPDATE或INSERT INTO log_table,而不是拼CONCAT或二次加工 - 每批处理完(如 1000 行),主动
CLOSE并DEALLOCATE游标,再重新DECLARE新游标分页读取 - 高并发下,每轮循环末尾加
DO SLEEP(0.01)(需mysql.sys权限),缓解 CPU 和锁竞争
真正棘手的场景(比如 GB 级日志表清洗),游标只是权宜之计;优先考虑应用层分批拉取,或用 mysqldump --where / SELECT ... INTO OUTFILE 导出后交由 Python/Go 流式处理。

















