讲师中心 微信公众号
AI工具推荐 视频效率加速

ThinkPHP分页内存溢出大数据量分页规避方案

老瑶酱_4422

老瑶酱_4422

发布时间:2026-08-17 16:26:20

|

592人浏览过

|

来源于php中文网

原创

直接用paginate()查百万级数据会内存溢出或超时,因其底层依赖LIMIT offset导致MySQL全扫前N行,且默认执行慢COUNT(*);应改用chunk()流式处理或基于主键的游标分页(如where('id','>',$lastId)),避免offset性能退化。

thinkphp分页内存溢出大数据量分页规避方案

直接用 paginate() 查百万级数据,PHP 进程大概率会内存溢出或超时——这不是调大 memory_limit 就能解决的,得从查询逻辑上换掉 LIMIT offset, size 这套机制。

为什么 paginate() 在大数据量下会崩

ThinkPHP 默认的 paginate() 底层走的是 LIMIT offset, size,而 MySQL 执行时必须先扫描并跳过前 offset 行。查第 100 万页(offset=9999990)时,它真的一行行扫了近一千万行才开始取数据,CPU 和 I/O 压力陡增,PHP 进程常在超时前就因内存耗尽被 kill。

  • 哪怕你把 memory_limit 改成 2G,也挡不住 MySQL 返回的临时结果集撑爆 PHP 内存
  • count(*) 统计总条数在千万级表里本身就很慢,还可能锁表,paginate() 默认会执行它
  • 前端传个 page=5000,后端不校验就直接喂给 paginate(),等于主动触发雪崩

用 chunk() 或游标分页替代 paginate()

ThinkORM 4 / ThinkPHP 6+ 提供了真正适合大数据的流式处理方式:chunk() 和基于主键的游标分页。它们不依赖 offset,也不一次性加载全部结果。

btpanel phpsite 宝塔面板PHP网站
btpanel phpsite 宝塔面板PHP网站

宝塔面板 PHP 网站管理:站点创建、删除、启停、PHP 版本切换、域名管理、SSL证书管理、伪静态管理、数据库管理

下载
  • chunk(1000, function ($users) { /* 每次只处理 1000 条 */ }):适合后台导出、数据迁移等场景,内存恒定,但不返回分页结构
  • 游标分页示例(按 id 升序):
    Db::name('user')->where('id', '>', $lastId)->order('id ASC')->limit(20)->select(),拿到最后一条的 id 传给下一页
  • 必须确保 id(或时间戳字段)有索引、唯一、非空;不能跳转任意页码,只支持「下一页」连续翻阅
  • 若需「上一页」,改用 WHERE id ,再手动反转结果数组

导出 Excel 时内存爆炸的实操解法

导出接口常见写法是先 select() 全量数据,再 foreach 拼装 Excel —— 这在 10 万行以上基本必炸。真实可行的路径是「分批查 + 分批写 + 合并」。

立即学习“PHP免费学习笔记(深入)”;

  • 用 chunk() 遍历主表,每次取 500~1000 条,查出关联字典数据后立即写入临时 .xlsx 文件(推荐 xlswriter 扩展,比 phpspreadsheet 内存友好得多)
  • 把字典表、配置类数据提前缓存到 Redis,避免在 chunk 循环里反复查库
  • 前端发起导出请求后,后端返回一个 task_id;用队列或定时任务分页拉取、生成临时文件;全部完成后再用 ziparchive 或 xlswriter 合并为单个文件
  • 不要在导出接口里做 count(*),用户不需要知道“共导出多少条”,只需提示“正在生成,请稍候”

最容易被忽略的一点:游标分页的 WHERE 条件字段必须是数据库索引字段,且不能允许 NULL;否则 MySQL 会退化成全表扫描,性能反而更差。上线前务必用 EXPLAIN 看执行计划。

相关文章

PHP速学教程(入门到精通)
PHP速学教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

PixTV
PixTV Hot

PixTV是一款面向AIGC内容创作的AI视频生成工具。

Seko
Seko Hot

一款AI视频创作工具,主要用于商汤科技推出的创编一体的AI短视频创作Agent,适合需要提升相关任务效率的用户。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

相关专题

更多
php文件怎么打开
php文件怎么打开

打开php文件步骤:1、选择文本编辑器;2、在选择的文本编辑器中,创建一个新的文件,并将其保存为.php文件;3、在创建的PHP文件中,编写PHP代码;4、要在本地计算机上运行PHP文件,需要设置一个服务器环境;5、安装服务器环境后,需要将PHP文件放入服务器目录中;6、一旦将PHP文件放入服务器目录中,就可以通过浏览器来运行它。

11764

2023.09.01

php怎么取出数组的前几个元素
php怎么取出数组的前几个元素

取出php数组的前几个元素的方法有使用array_slice()函数、使用array_splice()函数、使用循环遍历、使用array_slice()函数和array_values()函数等。本专题为大家提供php数组相关的文章、下载、课程内容,供大家免费下载体验。

6761

2023.10.11

php反序列化失败怎么办
php反序列化失败怎么办

php反序列化失败的解决办法检查序列化数据。检查类定义、检查错误日志、更新PHP版本和应用安全措施等。本专题为大家提供php反序列化相关的文章、下载、课程内容,供大家免费下载体验。

2195

2023.10.11

php怎么连接mssql数据库
php怎么连接mssql数据库

连接方法:1、通过mssql_系列函数;2、通过sqlsrv_系列函数;3、通过odbc方式连接;4、通过PDO方式;5、通过COM方式连接。想了解php怎么连接mssql数据库的详细内容,可以访问下面的文章。

4288

2023.10.23

php连接mssql数据库的方法
php连接mssql数据库的方法

php连接mssql数据库的方法有使用PHP的MSSQL扩展、使用PDO等。想了解更多php连接mssql数据库相关内容,可以阅读本专题下面的文章。

5014

2023.10.23

html怎么上传
html怎么上传

html通过使用HTML表单、JavaScript和PHP上传。更多关于html的问题详细请看本专题下面的文章。php中文网欢迎大家前来学习。

3931

2023.11.03

PHP出现乱码怎么解决
PHP出现乱码怎么解决

PHP出现乱码可以通过修改PHP文件头部的字符编码设置、检查PHP文件的编码格式、检查数据库连接设置和检查HTML页面的字符编码设置来解决。更多关于php乱码的问题详情请看本专题下面的文章。php中文网欢迎大家前来学习。

5677

2023.11.09

php文件怎么在手机上打开
php文件怎么在手机上打开

php文件在手机上打开需要在手机上搭建一个能够运行php的服务器环境,并将php文件上传到服务器上。再在手机上的浏览器中输入服务器的IP地址或域名,加上php文件的路径,即可打开php文件并查看其内容。更多关于php相关问题,详情请看本专题下面的文章。php中文网欢迎大家前来学习。

4442

2023.11.13

Vite 项目如何打包和部署
Vite 项目如何打包和部署

Vite项目打包部署专题汇集生产构建、产物预览、输出目录、资源路径、Nginx与GitHub Pages部署及常见白屏和路由404问题的已审核文章,帮助读者完成上线流程。

60

2026.10.28

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
墨刀帮助中心
墨刀帮助中心

共0课时 | 0人学习

MyEclipse学习中心
MyEclipse学习中心

共0课时 | 0人学习

Apache Subversion 官方手册
Apache Subversion 官方手册

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn