讲师中心 微信公众号
AI工具推荐 视频效率加速

Laravel并发场景如何利用Importer简化海量数据批量导入【方案】

雨强同学_9139

雨强同学_9139

发布时间:2026-05-25 22:55:18

|

584人浏览过

|

来源于php中文网

原创

Importer类本身不处理并发,仅定义单批次导入规则;真正并发需外部调度+分片+独立进程,配合WithChunkReading和WithBatchInserts实现安全高效批量处理。

laravel并发场景如何利用importer简化海量数据批量导入【方案】

Importer 类本身不处理并发,它只是定义导入规则和流程的载体。真正实现并发导入,得靠外部调度 + 分片 + 独立进程,Importer 只负责“单批次”安全、可复用的解析与写入。


Importer 必须实现 WithChunkReading 和 WithBatchInserts

  • 不加 WithChunkReading:默认会把整个 Excel 文件一次性读进内存,10 万行就可能爆到 200MB+,根本撑不住并发

  • 不加 WithBatchInserts:哪怕开了分片,每行仍走 save(),10 万次 insert = 10 万次 SQL 执行 + 连接开销,I/O 成瓶颈

  • 正确组合下,单个 Importer 实例能稳定处理 5k~10k 行/批,配合外部并发调度,才能线性提升吞吐

  • batchSize() 建议设为 500~1000,超过 2000 容易触发 MySQL 的 max_allowed_packet 或锁表

  • chunkSize()(来自 WithChunkReading)建议与 batchSize() 一致,避免内存中堆积未插入数据

  • 必须显式关闭模型事件:在 model() 方法里别调 ->save(),改用 collect(...)->toArray() 交给批量插入


并发不能靠 dispatch(new ImportJob) 直接塞 N 个文件

  • 多个 ImportJob 同时跑,若共用同一张表且没做主键隔离,ChunkById 会因 min(id)/max(id) 快照失效而漏/重

  • 更危险的是事务:每个 job 开 DB::transaction() 包住整个导入流程?内存没炸,死锁先来了

  • 正确做法是预分片:用 php artisan tinker 先算好每个 job 处理的 ID 范围,或按文件内 sheet 名/列哈希分桶

    Laravel Creem Agent
    Laravel Creem Agent

    Creem 支付商店助理 — 查询订阅、客户、交易、产品,执行心跳检查,管理本地 Laravel支付商店。

    下载
  • 每个并发 job 应只处理一个独立数据子集(如 sheet_1、user_status=active、id BETWEEN 10001 AND 20000)

  • 所有 job 共享同一个 Importer 类,但构造时传入不同 $range 或 $sheetName

  • 避免在 import() 内部查库——筛选逻辑必须前置,job 只做“纯导入”


导入失败后状态不可靠,fail() 回调不能依赖数据库字段

  • Importer 的 failures() 方法返回的是内存里的错误行,不是 DB 记录;如果中间被 kill 或超时,这部分数据就丢了

  • 不要指望 failed_jobs 表里存了完整上下文——它只记异常堆栈,不存原始 Excel 行内容

  • 真实生产环境必须自己落日志:在 onFailure() 里写 storage_path('logs/import-'.date('Y-m-d').'.log'),把 $failure->row() 和 $failure->values() 记全

  • 错误行导出要用 FastExcel 单独生成失败报告,别用 Excel::download() ——后者依赖 Laravel 请求生命周期,job 里不可用

  • WithValidation 的校验结果不会自动进 failures(),得手动 throw ValidationException 才触发回调

最常被忽略的一点:并发导入 ≠ 并发执行,而是并发「准备 + 分发」。真正的导入动作仍应尽量串行化或强隔离,否则数据一致性比性能更难兜底。

热门AI工具

更多
咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

火山引擎

火山引擎是一款面向企业的云计算与AI服务平台。

Seko
Seko Hot

一款AI视频创作工具,主要用于商汤科技推出的创编一体的AI短视频创作Agent,适合需要提升相关任务效率的用户。

LibLibAI
LibLibAI Hot

一款AI视频创作工具,主要用于国内领先的AI创意平台,以海量模型、低门槛操作与“创作-分享-商业化”生态,让小白与专业创作者都能高效实现图文乃至视频创意表达,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

相关专题

更多
laravel组件介绍
laravel组件介绍

laravel 提供了丰富的组件,包括身份验证、模板引擎、缓存、命令行工具、数据库交互、对象关系映射器、事件处理、文件操作、电子邮件发送、队列管理和数据验证。想了解更多laravel的相关内容,可以阅读本专题下面的文章。

837

2024.04.09

laravel中间件介绍
laravel中间件介绍

laravel 中间件分为五种类型:全局、路由、组、终止和自定。想了解更多laravel中间件的相关内容,可以阅读本专题下面的文章。

815

2024.04.09

laravel使用的设计模式有哪些
laravel使用的设计模式有哪些

laravel使用的设计模式有:1、单例模式;2、工厂方法模式;3、建造者模式;4、适配器模式;5、装饰器模式;6、策略模式;7、观察者模式。想了解更多laravel的相关内容,可以阅读本专题下面的文章。

2468

2024.04.09

thinkphp和laravel哪个简单
thinkphp和laravel哪个简单

对于初学者来说,laravel 的入门门槛较低,更易上手,原因包括:1. 更简单的安装和配置;2. 丰富的文档和社区支持;3. 简洁易懂的语法和 api;4. 平缓的学习曲线。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

3701

2024.04.10

laravel入门教程
laravel入门教程

本专题整合了laravel入门教程,想了解更多详细内容,请阅读专题下面的文章。

5230

2025.08.05

laravel实战教程
laravel实战教程

本专题整合了laravel实战教程,阅读专题下面的文章了解更多详细内容。

3496

2025.08.05

laravel面试题
laravel面试题

本专题整合了laravel面试题相关内容,阅读专题下面的文章了解更多详细内容。

6629

2025.08.05

PHP高性能API设计与Laravel服务架构实践
PHP高性能API设计与Laravel服务架构实践

本专题围绕 PHP 在现代 Web 后端开发中的高性能实践展开,重点讲解基于 Laravel 框架构建可扩展 API 服务的核心方法。内容涵盖路由与中间件机制、服务容器与依赖注入、接口版本管理、缓存策略设计以及队列异步处理方案。同时结合高并发场景,深入分析性能瓶颈定位与优化思路,帮助开发者构建稳定、高效、易维护的 PHP 后端服务体系。

1376

2026.03.04

LLVM自定义Pass怎么写
LLVM自定义Pass怎么写

本专题聚焦LLVM自定义Pass开发,整理Pass类结构、run()方法、PreservedAnalyses、CMake构建、插件注册、-load-pass-plugin加载和测试用例编写流程。

80

2026.09.30

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
如何安装 Composer
如何安装 Composer

共1课时 | 197人学习

Composer手册
Composer手册

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn