讲师中心 微信公众号
AI工具推荐 视频效率加速

ThinkPHP大数据量怎么用array_chunk分批插入

陌宇同学_3724

陌宇同学_3724

发布时间:2026-10-22 15:23:20

|

157人浏览过

|

来源于php中文网

原创

ThinkPHP大数据插入应优先使用Db::insertAll()配合array_chunk分批,chunk大小建议100–300条,兼顾MySQL max_allowed_packet、PHP内存与超时限制,并采用事务控制;避免全量加载,推荐流式读取边读边插。

thinkphp大数据量怎么用array_chunk分批插入

ThinkPHP 处理大数据量插入时,用 array_chunk 分批是常见且有效的做法,核心在于避免单次插入数据过多导致内存溢出、超时或 MySQL 报错(如 max_allowed_packet 限制)。关键不是“能不能用”,而是“怎么 chunk 得合理、怎么 insert 得安全高效”。

明确 chunk 大小:别盲目设 1000

批量大小需结合实际场景权衡:

  • MySQL 配置:查看 max_allowed_packet(默认一般 4MB),估算单条记录平均字节数,反推单次最多插多少条。例如每条约 2KB,4MB ≈ 2000 条;但建议留余量,设 500–1000 更稳妥。
  • PHP 内存与超时:大数组 chunk 后仍要遍历、组装 SQL 或调用 ORM 方法。若单次处理 5000 条,可能触发 memory_limit 或 max_execution_time。本地开发可设 200–500,生产环境建议 100–300 起步,再压测调整。
  • 事务控制粒度:chunk 太大,失败后回滚代价高;太小则事务开销(BEGIN/COMMIT)增多。通常 100–500 条一个事务较平衡。

使用 Db::insertAll() + array_chunk(推荐)

ThinkPHP 6.x/7.x 原生支持批量插入,配合 array_chunk 最简洁安全:

$dataList = [...]; // 几万条数据
$chunkSize = 200;
$chunks = array_chunk($dataList, $chunkSize);

foreach ($chunks as $chunk) {
    try {
        \think\facade\Db::transaction(function () use ($chunk) {
            \think\facade\Db::name('user')->insertAll($chunk);
        });
    } catch (\Exception $e) {
        // 记录错误 chunk 或具体失败数据,便于重试
        \think\facade\Log::error('Batch insert failed: ' . $e->getMessage());
        throw $e; // 或选择跳过当前 chunk
    }
}

✅ 优势:自动拼接 INSERT ... VALUES(...),(...),...,性能好;支持事务;不依赖模型层,轻量。

立即学习“PHP免费学习笔记(深入)”;

btpanel phpsite 宝塔面板PHP网站
btpanel phpsite 宝塔面板PHP网站

宝塔面板 PHP 网站管理:站点创建、删除、启停、PHP 版本切换、域名管理、SSL证书管理、伪静态管理、数据库管理

下载

用模型 saveAll() 要谨慎

若必须走模型(比如需要自动时间戳、事件、验证等),可用 saveAll(),但注意:

  • 它底层仍是逐条调用 save()(除非显式关闭事件和验证),性能远低于 insertAll;
  • 开启验证或事件时,每条都执行逻辑,内存和耗时陡增;
  • 建议仅在必须用模型特性时才用,并关闭非必要功能:
$model = new UserModel();
$model->allowField(true)->validate(false)->event(false);
foreach ($chunks as $chunk) {
    $model->saveAll($chunk, ['replace' => false]);
}

进阶:边读边 chunk,避免全量加载到内存

如果原始数据来自文件(CSV/Excel)或远程 API,千万别先 file_get_contents 全读进内存再 array_chunk——这是最常见内存崩盘原因。

  • 读 CSV:用 fgetcsv 流式读取,攒够 N 行就插入一次;
  • 读数据库:用游标分页(limit offset 不适合超大偏移,改用 id > last_id limit N);
  • 调 API:按页拉取,每页处理完即插入,不缓存全部响应。

本质是把“内存 chunk”变成“流式 chunk”,从根本上解决大数据瓶颈。

不复杂但容易忽略:chunk 是手段,不是目的;重点在控制单次操作的数据规模、资源消耗和失败影响面。选对方法(优先 insertAll)、设对大小、避开全量加载,就能稳住几十万级插入。

相关文章

PHP速学教程(入门到精通)
PHP速学教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

PixTV
PixTV Hot

PixTV是一款面向AIGC内容创作的AI视频生成工具。

音述AI
音述AI Hot

一款AI音频处理工具,主要用于音述AI是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

相关专题

更多
大数据分析工具有哪四个
大数据分析工具有哪四个

大数据分析的四个工具分别是rapidminer、Hpcc、Hadoop和Pentaho bi。大数据分析用于从各种来源生成的原始数据中提取有价值的数据。这些数据帮助我们获得有意义的见解、隐藏的模式、未知的相关性、市场趋势等等,具体取决于行业。大数据分析的主要动机是提供有价值的见解,以便为未来做出更好的决策。php中文网为大家带来了大数据分析的相关教程、以及相关文章等内容,供大家免费下载使用。

5356

2023.06.21

Java 大数据处理基础(Hadoop 方向)
Java 大数据处理基础(Hadoop 方向)

本专题聚焦 Java 在大数据离线处理场景中的核心应用,系统讲解 Hadoop 生态的基本原理、HDFS 文件系统操作、MapReduce 编程模型、作业优化策略以及常见数据处理流程。通过实际示例(如日志分析、批处理任务),帮助学习者掌握使用 Java 构建高效大数据处理程序的完整方法。

1249

2025.12.08

大数据专业学习教程
大数据专业学习教程

本专题整合了大数据专业学习相关教程,阅读专题下面的文章了解更多详细内容。

243

2026.01.05

python处理大数据合集
python处理大数据合集

本专题整合了python处理大数据相关教程,阅读专题下面的文章了解更多详细内容。

486

2026.01.05

thinkphp和laravel哪个简单
thinkphp和laravel哪个简单

对于初学者来说,laravel 的入门门槛较低,更易上手,原因包括:1. 更简单的安装和配置;2. 丰富的文档和社区支持;3. 简洁易懂的语法和 api;4. 平缓的学习曲线。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

4261

2024.04.10

thinkphp性能怎么样
thinkphp性能怎么样

thinkphp 是一款高性能的 php 框架,具备缓存机制、代码优化、并行处理和数据库优化等优势。官方性能测试显示,它每秒可处理超过 10,000 个请求,实际应用中被广泛用于京东商城、携程网等大型网站和企业系统。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

1380

2024.04.10

ThinkPHP6后台管理系统开发与RBAC权限控制实践
ThinkPHP6后台管理系统开发与RBAC权限控制实践

本专题围绕 ThinkPHP6 在后台管理系统开发中的应用展开,重点讲解基于 RBAC 模型的权限控制实现方案。内容涵盖管理员角色设计、菜单权限分配、接口鉴权、中间件拦截机制以及后台模块化开发思路。同时结合实际案例,讲解如何构建完整的后台管理系统,包括用户管理、权限管理与操作日志记录,帮助开发者搭建安全、可扩展的企业级后台系统。

603

2026.03.20

ThinkPHP API接口开发与前后端分离实战
ThinkPHP API接口开发与前后端分离实战

本专题围绕ThinkPHP在前后端分离项目中的 API 开发展开,系统讲解 RESTful 接口设计规范、统一返回结构、参数验证与异常处理机制。内容涵盖 Token 鉴权、跨域处理、接口版本管理以及接口文档生成方案。通过完整项目案例,帮助开发者构建规范、高效、易维护的后端接口服务体系。

384

2026.03.20

剧云故事大纲与分场规划教程
剧云故事大纲与分场规划教程

本专题讲解剧云梗概与多级大纲功能,覆盖全局、分集、分场结构生成,以及主线冲突、剧情节点和场次顺序调整。

0

2026.10.22

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
墨刀帮助中心
墨刀帮助中心

共0课时 | 0人学习

MyEclipse学习中心
MyEclipse学习中心

共0课时 | 0人学习

Apache Subversion 官方手册
Apache Subversion 官方手册

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn