讲师中心 微信公众号
AI工具推荐 视频效率加速

Laravel分块查询怎么用_Laravel数据分块方法【详解】

风芳大大_5925

风芳大大_5925

发布时间:2026-05-12 19:09:18

|

309人浏览过

|

来源于php中文网

原创

别无脑用chunk(),它在多数大数据场景下反而让内存越查越高、漏数据、卡死;真正靠谱的分块方式取决于你「要不要模型实例」和「主键是不是自增整型」。

laravel分块查询怎么用_laravel数据分块方法【详解】

直接说结论:别无脑用 chunk(),它在多数大数据场景下反而让内存越查越高、漏数据、卡死;真正靠谱的分块方式取决于你「要不要模型实例」和「主键是不是自增整型」。

chunk() 为什么内存不降反升

它只是把 get() 拆成多次执行,但每次返回的仍是完整 Eloquent 模型对象,且全部缓存在静态属性 Model::$instances 中。PHP GC 清不掉这些引用,哪怕你没显式保存变量。

  • 每批回调里的 $users 是 User 模型集合,每个实例都带访问器、关系、事件监听器
  • 加了 ->withTrashed() 或 ->withoutGlobalScopes() 后构造逻辑更重,缓存更难释放
  • 解决办法不是调大 chunk 尺寸,而是绕过模型层:DB::table('users')->select('id', 'name', 'email')->chunk(500, function ($rows) { }) —— 返回原生数组,无实例开销

chunkById() 必须满足的三个前提

它靠 WHERE id > ? 推进,比 chunk() 稳定,但极易踩坑:

laravel-specialist
laravel-specialist

精通 Laravel 10+,遵循现代 PHP 实践的 Laravel 专家。擅长优雅语法、Eloquent ORM、队列系统及企业级特性...

下载
  • 主键必须是自增整数(INT 或 BIGINT),不能是 UUID、字符串或复合主键
  • 表里不能有 id 为 NULL 的行,否则 WHERE id > last_id 会漏掉
  • 处理过程中不能有新记录插入到当前批次范围中间(比如并发写入 id=1005,而上一批停在 1000),否则会跳过
  • 安全用法示例:User::where('status', 'active')->orderBy('id')->chunkById(1000, function ($users) { }, 'id') —— 注意必须显式写 orderBy('id'),否则 Laravel 不保证顺序

真正低内存的分块:DB::table + cursor()

如果你只读字段、不做模型操作(比如导出 CSV、统计积分、同步 ID 列表),别碰 Eloquent:

  • DB::table('users')->cursor() 返回可遍历游标,逐行取,内存恒定 ≈ 1KB,适合百万级
  • DB::table('users')->pluck('id') 只取单列值,返回 Collection,比 get() 轻 80% 以上
  • 需要关联字段?用 leftJoin + selectRaw 拼好再 cursor(),别 with():DB::table('users')->leftJoin('profiles', 'users.id', '=', 'profiles.user_id')->select('users.id', 'users.email', 'profiles.bio')->cursor()

漏数据和死循环的隐蔽原因

这不是 bug,是设计使然:

  • chunk() 基于 OFFSET + LIMIT,数据有增删就会跳行或重复
  • chunkById() 遇到非单调主键(如 UUID、软删除干扰、deleted_at IS NOT NULL 被跳过)时,可能漏数据或死循环
  • MySQL 快照读机制决定:即使表在处理中被并发修改,你也只能看到事务开始那一刻的数据视图 —— 这是正常行为,不是框架缺陷

最易被忽略的一点:无论用哪个方法,只要涉及模型实例化,就绕不开 Model::$instances 缓存累积;想彻底省内存,就得接受「不走 Eloquent」这个代价。

热门AI工具

更多
DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

AionClaw
AionClaw Hot

AionClaw是一款面向办公、创作和编程任务的AI桌面智能体。

相关专题

更多
laravel组件介绍
laravel组件介绍

laravel 提供了丰富的组件,包括身份验证、模板引擎、缓存、命令行工具、数据库交互、对象关系映射器、事件处理、文件操作、电子邮件发送、队列管理和数据验证。想了解更多laravel的相关内容,可以阅读本专题下面的文章。

857

2024.04.09

laravel中间件介绍
laravel中间件介绍

laravel 中间件分为五种类型:全局、路由、组、终止和自定。想了解更多laravel中间件的相关内容,可以阅读本专题下面的文章。

835

2024.04.09

laravel使用的设计模式有哪些
laravel使用的设计模式有哪些

laravel使用的设计模式有:1、单例模式;2、工厂方法模式;3、建造者模式;4、适配器模式;5、装饰器模式;6、策略模式;7、观察者模式。想了解更多laravel的相关内容,可以阅读本专题下面的文章。

2488

2024.04.09

thinkphp和laravel哪个简单
thinkphp和laravel哪个简单

对于初学者来说,laravel 的入门门槛较低,更易上手,原因包括:1. 更简单的安装和配置;2. 丰富的文档和社区支持;3. 简洁易懂的语法和 api;4. 平缓的学习曲线。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

4201

2024.04.10

laravel入门教程
laravel入门教程

本专题整合了laravel入门教程,想了解更多详细内容,请阅读专题下面的文章。

6030

2025.08.05

laravel实战教程
laravel实战教程

本专题整合了laravel实战教程,阅读专题下面的文章了解更多详细内容。

3996

2025.08.05

laravel面试题
laravel面试题

本专题整合了laravel面试题相关内容,阅读专题下面的文章了解更多详细内容。

7509

2025.08.05

PHP高性能API设计与Laravel服务架构实践
PHP高性能API设计与Laravel服务架构实践

本专题围绕 PHP 在现代 Web 后端开发中的高性能实践展开,重点讲解基于 Laravel 框架构建可扩展 API 服务的核心方法。内容涵盖路由与中间件机制、服务容器与依赖注入、接口版本管理、缓存策略设计以及队列异步处理方案。同时结合高并发场景,深入分析性能瓶颈定位与优化思路,帮助开发者构建稳定、高效、易维护的 PHP 后端服务体系。

1456

2026.03.04

OpenJDK JVM参数怎么调优
OpenJDK JVM参数怎么调优

Java应用运行缓慢,如何调整JVM参数?本专题介绍OpenJDK JVM性能调优的基本流程,涵盖性能指标确认、运行数据采集、内存配置和垃圾回收分析,帮助你先定位瓶颈,再通过对照测试验证效果,避免直接套用参数而影响应用稳定性。

80

2026.10.16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
如何安装 Composer
如何安装 Composer

共1课时 | 208人学习

Composer手册
Composer手册

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn