讲师中心 微信公众号
AI工具推荐 视频效率加速

如何高效导入大型 Excel 文件并批量更新数据库记录

冬宇吖_5609

冬宇吖_5609

发布时间:2026-09-04 15:35:02

|

391人浏览过

|

来源于php中文网

原创

如何高效导入大型 Excel 文件并批量更新数据库记录

本文介绍在 laravel 中使用 laravel-excel 导入含 1600+ 行数据的 excel 文件时,规避“最大执行时间超限”和“内存耗尽”错误的实战方案,涵盖分块读取、批量插入/更新(upsert)、内存优化及服务端配置建议。

本文介绍在 laravel 中使用 laravel-excel 导入含 1600+ 行数据的 excel 文件时,规避“最大执行时间超限”和“内存耗尽”错误的实战方案,涵盖分块读取、批量插入/更新(upsert)、内存优化及服务端配置建议。

在处理 Excel 导入与数据库同步任务时,看似仅 1600 条记录的文件却频繁触发 max_execution_time exceeded 或 Allowed memory size exhausted 错误,根本原因在于原始实现中:

  • 每行调用 Model::find() + 单条 save() → 触发 N+1 查询与 ORM 开销;
  • 未启用分块(chunking),导致全部数据一次性加载至内存;
  • 使用 create() 逐行写入临时表,缺乏批量操作支持。

✅ 推荐解决方案:分块读取 + 批量 upsert 同步

Laravel-Excel v3.1+ 原生支持 WithChunkReading 和 WithUpserts,可显著降低内存占用并提升性能。以下是优化后的完整实现:

Excel Export
Excel Export

从结构化JSON生成精美的.xlsx工作簿,支持多工作表、冻结表头、筛选、类型化列、公式、合计以及法国/摩洛哥格式。

下载
// app/Imports/BookPriceImport.php
namespace App\Imports;

use App\Models\Book;
use Illuminate\Support\Collection;
use Maatwebsite\Excel\Concerns\ToCollection;
use Maatwebsite\Excel\Concerns\WithChunkReading;
use Maatwebsite\Excel\Concerns\WithUpserts;
use Maatwebsite\Excel\Concerns\WithHeadingRow;

class BookPriceImport implements ToCollection, WithChunkReading, WithUpserts, WithHeadingRow
{
    public function chunkSize(): int
    {
        return 100; // 每次处理 100 行,平衡内存与效率
    }

    public function uniqueBy(): array
    {
        return ['book_id']; // 假设 Excel 中首列为 'book_id',对应数据库主键或唯一索引字段
    }

    public function collection(Collection $rows)
    {
        $data = $rows->map(function ($row) {
            return [
                'book_id'       => $row['book_id'] ?? null,
                'paperbook_price' => $row['paperbook_price'] ?? null,
                'ebook_price'     => $row['ebook_price'] ?? null,
                'audio_price'     => $row['audio_price'] ?? null,
            ];
        })->filter()->values()->all();

        if (!empty($data)) {
            // 使用 upsert:匹配 book_id 存在则更新,否则忽略(不插入新书)
            Book::upsert(
                $data,
                ['book_id'], // 匹配条件(必须为数据库中带 UNIQUE 索引的字段)
                ['paperbook_price', 'ebook_price', 'audio_price'] // 需更新的字段
            );
        }
    }
}

? 关键前提与注意事项:

  • 数据库表 books 的 book_id 字段必须添加唯一索引(如 ALTER TABLE books ADD UNIQUE INDEX idx_book_id (book_id);),否则 upsert 将失效或报错;
  • 若 Excel 列名非标准(如 book_id, paperbook_price),请配合 WithHeadingRow 使用真实表头,或改用 WithCustomCsvSettings 映射;
  • upsert() 是 Laravel 8.0+ 原生方法,若使用低版本,请升级 Laravel 或改用 insertOnDuplicateKeyUpdate()(需 MySQL)或分批 updateOrCreate();
  • 避免在 collection() 中执行额外查询(如 Book::find()),所有逻辑应基于内存内数据完成。

? 服务端兜底配置(仅当必要时调整):
若业务规模持续增长(如单次导入超 10,000 行),可在 php.ini 中适度放宽限制(生产环境慎用):

max_execution_time = 120
memory_limit = 256M

同时建议通过 Artisan 命令行方式执行导入(避开 Web 请求超时):

php artisan import:books path/to/books.xlsx

? 总结:
1600 行并非大数据量,问题根源在于低效的数据处理模式。通过 WithChunkReading 控制内存峰值、upsert 替代逐行查改、配合数据库唯一索引保障原子性,即可在默认资源限制下稳定完成导入与差异更新。后续扩展时,还可结合队列(ShouldQueue)实现异步处理,彻底解耦请求响应与耗时任务。

热门AI工具

更多
二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

切问学术

切问学术是一款AI论文写作工具,复旦大学NLP团队推出的AI学术智能体。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

墨刀AI
墨刀AI Hot

一款AI图像与设计工具,主要用于产品经理的专属智能体,适合需要提升相关任务效率的用户。

讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

相关专题

更多
php文件怎么打开
php文件怎么打开

打开php文件步骤:1、选择文本编辑器;2、在选择的文本编辑器中,创建一个新的文件,并将其保存为.php文件;3、在创建的PHP文件中,编写PHP代码;4、要在本地计算机上运行PHP文件,需要设置一个服务器环境;5、安装服务器环境后,需要将PHP文件放入服务器目录中;6、一旦将PHP文件放入服务器目录中,就可以通过浏览器来运行它。

9504

2023.09.01

php怎么取出数组的前几个元素
php怎么取出数组的前几个元素

取出php数组的前几个元素的方法有使用array_slice()函数、使用array_splice()函数、使用循环遍历、使用array_slice()函数和array_values()函数等。本专题为大家提供php数组相关的文章、下载、课程内容,供大家免费下载体验。

5721

2023.10.11

php反序列化失败怎么办
php反序列化失败怎么办

php反序列化失败的解决办法检查序列化数据。检查类定义、检查错误日志、更新PHP版本和应用安全措施等。本专题为大家提供php反序列化相关的文章、下载、课程内容,供大家免费下载体验。

2055

2023.10.11

php怎么连接mssql数据库
php怎么连接mssql数据库

连接方法:1、通过mssql_系列函数;2、通过sqlsrv_系列函数;3、通过odbc方式连接;4、通过PDO方式;5、通过COM方式连接。想了解php怎么连接mssql数据库的详细内容,可以访问下面的文章。

3568

2023.10.23

php连接mssql数据库的方法
php连接mssql数据库的方法

php连接mssql数据库的方法有使用PHP的MSSQL扩展、使用PDO等。想了解更多php连接mssql数据库相关内容,可以阅读本专题下面的文章。

4254

2023.10.23

html怎么上传
html怎么上传

html通过使用HTML表单、JavaScript和PHP上传。更多关于html的问题详细请看本专题下面的文章。php中文网欢迎大家前来学习。

3331

2023.11.03

PHP出现乱码怎么解决
PHP出现乱码怎么解决

PHP出现乱码可以通过修改PHP文件头部的字符编码设置、检查PHP文件的编码格式、检查数据库连接设置和检查HTML页面的字符编码设置来解决。更多关于php乱码的问题详情请看本专题下面的文章。php中文网欢迎大家前来学习。

4737

2023.11.09

php文件怎么在手机上打开
php文件怎么在手机上打开

php文件在手机上打开需要在手机上搭建一个能够运行php的服务器环境,并将php文件上传到服务器上。再在手机上的浏览器中输入服务器的IP地址或域名,加上php文件的路径,即可打开php文件并查看其内容。更多关于php相关问题,详情请看本专题下面的文章。php中文网欢迎大家前来学习。

3702

2023.11.13

PixTV AI视频生成与无限画布创作
PixTV AI视频生成与无限画布创作

PixTV专题整理AI视频与视觉内容创作相关功能使用教程,涵盖AI生图、视频生成、无限画布、多模型创作、素材管理、声音音乐及视频剪辑等功能,帮助用户快速掌握PixTV从创意到成片的完整制作方法。

0

2026.09.29

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Excel 教程
Excel 教程

共162课时 | 43.5万人学习

成为PHP架构师-自制PHP框架
成为PHP架构师-自制PHP框架

共28课时 | 3.5万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn