讲师中心 微信公众号
AI工具推荐 视频效率加速

TP8.0 使用 Cursor 游标遍历千万级数据表【低内存】

落瑶君_8338

落瑶君_8338

发布时间:2026-07-14 17:47:44

|

843人浏览过

|

来源于php中文网

原创

ThinkPHP 8.0 处理千万级数据必须用 cursor() 实现低内存遍历,要求版本≥8.0.0、主键或索引字段单调递增且非空;需升序排序、禁用 join/with/子查询,分页时通过 next_cursor 手动推进并建议开启签名保护。

tp8.0 使用 cursor 游标遍历千万级数据表【低内存】

ThinkPHP 8.0 处理千万级数据表时,直接用 select() 或 paginate() 会瞬间吃光 PHP 内存,进程被系统 kill;必须用 cursor() 实现低内存逐行遍历,但错一步就漏数据、卡死或报 Cursor value is invalid。

确认环境与前提条件

确保你用的是 ThinkPHP 8.0.0 及以上版本(低于 8.0 的 TP 根本没有 cursor() 方法);数据库表必须有【单调递增且非空的索引字段】,比如自增 id 或带索引的 create_time;该字段不能含 NULL,否则游标起点不可靠。

执行 php think version 验证版本,输出中必须包含 v8.x;检查表结构:DESC your_table,确认 id 字段类型为 BIGINT / INT、Extra 含 auto_increment、Key 含 PRI 或 MUL 索引。

若字段含 NULL 或无索引,cursor() 会静默失效——查着查着就跳段、重复或中断,且不报错。

基础游标遍历(单次全量流式读取)

第一步:调用 cursor(),指定每批拉取条数、游标字段名、起始游标值(首次传 null):

$cursor = Db::name('user_log')->where('status', 1)->order('id', 'asc')->cursor(500, 'id');

这一步必须用 【升序 order('id', 'asc')】,降序不支持;where 条件可加,但不能干扰 id 的单调性(例如禁止 whereRaw('id % 2 = 0'))。

第二步:用 foreach 直接遍历,每轮只加载一行到内存:

foreach ($cursor as $row) { processRow($row); }

注意:$cursor 是 Generator 对象,不能 toArray()、count() 或用 array_ 函数处理,否则整张表数据会强行载入内存。

分页式游标推进(适合后台任务/导出)

方法一:手动提取 next_cursor 并循环请求

首次查询后,结果集末尾自动附带 next_cursor 字段:

ThinkPHP5.1企业站点快速开发-源码课件
ThinkPHP5.1企业站点快速开发-源码课件

ThinkPHP5.1企业站点快速开发

下载

$first = Db::name('user_log')->where('status', 1)->order('id', 'asc')->cursor(500, 'id');

遍历完这批后,从最后一条记录里取出 next_cursor 值(不是 last()['id']!):

$nextCursor = $first->next_cursor ?? null;

下一轮请求带上它:Db::name('user_log')->where('status', 1)->order('id', 'asc')->cursor(500, 'id', $nextCursor);

方法二:开启签名保护(生产环境必开)

在 app.php 配置中添加:'cursor_key' => 'your_strong_secret_here';调用时第四个参数传 true:

Db::name('user_log')->order('id', 'asc')->cursor(500, 'id', null, true);

这样生成的 next_cursor 是 HMAC 签名 Base64 字符串,用户篡改会直接报 Cursor value is invalid 错误。

规避常见崩盘陷阱

不要在 cursor 查询中使用 join、with 或子查询——TP 8.0 的游标逻辑只认主表排序字段,关联后结果顺序无法保证单调,游标值会错乱。

避免在 foreach 循环内修改当前行的 id 值(如 $row['id'] = 999),会导致下一轮游标计算偏移,轻则漏数据,重则无限循环。

如果业务需要按 created_at 降序处理(如查最新日志),不能直接用 cursor();改用 where + order + limit 手动游标分页:->where('create_time', 'order('create_time', 'desc'),并确保 create_time 有联合索引(如 INDEX idx_status_ct (status, create_time))。

热门AI工具

更多
二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

AionClaw
AionClaw Hot

AionClaw是一款面向办公、创作和编程任务的AI桌面智能体。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

切问学术

切问学术是一款AI论文写作工具,复旦大学NLP团队推出的AI学术智能体。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

相关专题

更多
marquee参数有哪些
marquee参数有哪些

marquee参数有direction、behavior、speed、scrolldelay、width、height、bgcolor、cursor、id、align、noresize、nohover、loopcount、bgcolorcolor、scrollamount和vspa。

1560

2023.10.18

Cursor新手入门教程
Cursor新手入门教程

这是一份为新手量身定制的 Cursor 入门全流程指南。无论你是刚从 VS Code 迁移过来的老手,还是编程小白,这份指南都能帮你快速上手这款“代码自动驾驶仪”。

113

2026.04.09

Cursor 核心功能深度解析与实战技巧
Cursor 核心功能深度解析与实战技巧

本专题深度剖析 AI 代码编辑器 Cursor 的核心功能,涵盖 Composer 模式、codebase 索引、实时代码预测(Tab)及 Chat 交互等进阶用法。通过丰富的实战案例,手把手教你如何利用 Cursor 快速构建应用、重构复杂代码及进行自动化 Debug。

178

2026.04.16

Cursor 针对不同开发场景的使用教程
Cursor 针对不同开发场景的使用教程

本专题深度拆解 Cursor 在前端 UI 开发、后端重构、数据爬虫及自动化测试等 10+ 核心场景下的具体用法。详解如何针对不同业务场景配置特定的 .cursorrules,让 AI 真正深入你的业务逻辑。

82

2026.04.16

OpenJDK JVM参数怎么调优
OpenJDK JVM参数怎么调优

Java应用运行缓慢,如何调整JVM参数?本专题介绍OpenJDK JVM性能调优的基本流程,涵盖性能指标确认、运行数据采集、内存配置和垃圾回收分析,帮助你先定位瓶颈,再通过对照测试验证效果,避免直接套用参数而影响应用稳定性。

0

2026.10.16

OpenJDK怎么配置Java开发环境
OpenJDK怎么配置Java开发环境

怎样用OpenJDK搭建开发环境?本专题介绍版本选择、下载安装、环境变量配置和编译运行验证,帮助你理清JDK的作用及基本配置流程,并通过简单程序检查环境是否可用,为后续项目开发做好准备。

0

2026.10.16

OpenJDK怎么部署Java应用
OpenJDK怎么部署Java应用

Java项目开发完成后,怎样部署到目标环境并正常运行?本专题介绍OpenJDK应用部署流程,涵盖运行环境准备、版本兼容检查、应用打包、启动参数配置和日志查看,帮助你理清部署前后的操作顺序,减少环境差异造成的运行问题。

0

2026.10.16

Revel框架模板渲染与表单验证
Revel框架模板渲染与表单验证

本专题围绕Revel框架视图层开发,介绍模板语法、变量输出、布局复用、表单提交、参数绑定与验证规则,帮助开发者完成安全规范的页面交互。

0

2026.10.16

Revel框架MVC路由与控制器
Revel框架MVC路由与控制器

本专题聚焦Revel框架MVC核心机制,讲解路由定义、控制器Action、参数绑定、请求响应和反向路由,并结合常见场景梳理接口请求处理流程。

0

2026.10.16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn