讲师中心 微信公众号
AI工具推荐 视频效率加速

如何在 PHP 中循环调用函数实现分批导出 MySQL 数据为 JSON 文件

阿浩小哥_1921

阿浩小哥_1921

发布时间:2026-05-26 14:41:03

|

457人浏览过

|

来源于php中文网

原创

如何在 PHP 中循环调用函数实现分批导出 MySQL 数据为 JSON 文件

本文介绍如何通过封装函数 + 循环(或递归)机制,让 PHP 函数自动重复执行,直至处理完所有未同步的 MySQL 数据,每批次导出 100 条并标记 SYNC_FLAG = 'Y',避免重复导出。

本文介绍如何通过封装函数 + 循环(或递归)机制,让 php 函数自动重复执行,直至处理完所有未同步的 mysql 数据,每批次导出 100 条并标记 `sync_flag = 'y'`,避免重复导出。

要实现“函数执行完毕后自动重复调用自身,直到数据耗尽”,核心思路是将导出逻辑封装为可复用函数,并通过外部控制结构(如 while 循环)驱动其多次执行——而非依赖函数内部自我调用(递归),后者在大数据量下易触发栈溢出或超时,不推荐用于生产环境的批量任务。

✅ 推荐方案:封装函数 + 分页循环(安全、可控、易调试)

首先,将原代码抽象为一个独立函数 exportMembersBatch(),接收 $offset 和 $limit 参数,支持分页查询:

function exportMembersBatch($db, $store_path_pos, $counterFile, $limit = 100, $offset = 0) {
    // 查询当前批次(带 OFFSET 支持分页)
    $results = $db->SELECT()
        ->FROM(['MM' => 'M_MEMBER'], [
            'MEMBER_ID'     => 'MM.MEMBER_ID',
            'FIRST_NAME'    => 'MM.FIRST_NAME',
            'LAST_NAME'     => 'MM.LAST_NAME',
            'MEMBER_GROUP'  => 'MM.MEMBER_GROUP',
            'MEMBER_GROUP1' => 'MM.MEMBER_GROUP1',
            'PHONE_NUMBER'  => 'MM.PHONE_NUMBER',
            'MEMBERSHIP'    => 'MM.MEMBERSHIP',
            'UPLOAD_DATE'   => 'MM.UPLOAD_DATE',
            'STATUS'        => 'MM.STATUS'
        ])
        ->WHERE('DATE(MM.UPLOAD_DATE) = CURDATE()')
        ->WHERE('SYNC_FLAG = ?', 'N')
        ->LIMIT($limit)
        ->OFFSET($offset)
        ->QUERY()
        ->FETCHALL();

    if (empty($results)) {
        return false; // 无更多数据,终止循环
    }

    // 构建 JSON 数据并更新标志位
    $counter = formatNbr($counterFile);
    $data = [];
    foreach ($results as $row) {
        $data[] = array_merge($row, ['_id' => (string)Application_Helper_General::generateIdJsonFile()]);
        // 安全更新:使用预处理防止 SQL 注入
        $db->UPDATE('M_MEMBER')
           ->SET(['SYNC_FLAG' => 'Y'])
           ->WHERE('MEMBER_ID = ?', $row['MEMBER_ID'])
           ->EXEC();
    }

    // 生成并保存 JSON 文件(移除非法字符,确保 UTF-8 兼容)
    $jsonStr = json_encode($data, JSON_UNESCAPED_UNICODE | JSON_UNESCAPED_SLASHES);
    $cleanJson = preg_replace('/[\x00-\x08\x0B\x0C\x0E-\x1F\x80-\xFF]/', '', $jsonStr);
    $filename = $store_path_pos . 'dataMember_' . date('Y-m-d') . '_' . $counter . '.json';
    $written = file_put_contents($filename, $cleanJson);

    if ($written !== false) {
        echo "✅ 成功创建 JSON 文件:{$filename}(共 {$limit} 条)\n";
        return true;
    } else {
        echo "❌ 写入文件失败:{$filename}\n";
        return false;
    }
}

接着,使用 while 循环持续调用该函数,每次推进 OFFSET,直到无新数据返回:

dmap-jsapi-skill
dmap-jsapi-skill

DMap GL地图JSAPI(dmapgl)开发指南。用于编写、审查、调试 DMap 地图 API 代码,涵盖地图初始化、覆盖物渲染、图层管理、事件处理、控件交互等任务。当用户提及 dmap、dmapgl、jsapi‑gl 或相关地图开发需求时自动触发。

下载
// 第一步:获取待处理总记录数(关键!避免无限循环)
$totalUnsync = $db->SELECT(['COUNT(*) AS cnt'])
    ->FROM('M_MEMBER')
    ->WHERE('DATE(UPLOAD_DATE) = CURDATE() AND SYNC_FLAG = ?', 'N')
    ->QUERY()
    ->FETCH()['cnt'];

$limit = 100;
$offset = 0;

echo "? 检测到 {$totalUnsync} 条待导出记录...\n";

while ($offset < $totalUnsync) {
    if (!exportMembersBatch($db, $store_path_pos, $counterFile, $limit, $offset)) {
        break; // 无数据或出错时退出
    }
    $offset += $limit;
}

echo "? 批量导出任务完成!\n";

⚠️ 注意事项与最佳实践

  • 务必先查总数再循环:避免因 LIMIT/OFFSET 在高并发下漏数据或重复;若表极大,也可改用「基于主键游标分页」(如 WHERE MEMBER_ID > ?)提升性能。
  • 禁止拼接 SQL 更新语句:原文中 $queryUdateMemberFlag = 'UPDATE ... '.$row['MEMBER_ID'] 存在严重 SQL 注入风险,已改为预处理方式($db->UPDATE()->SET()->WHERE()->EXEC())。
  • JSON 处理优化:使用 JSON_UNESCAPED_UNICODE 保留中文,substr($jsonAr, 1, -1) 是危险操作(会破坏合法 JSON 结构),应直接 json_encode($data) 后清洗非法字符。
  • 递归不推荐:虽然答案提到递归,但实际中 exporter() 若未设终止条件或深度过大,极易导致 Fatal error: Maximum function nesting level reached 或内存溢出;循环方式更稳定、可监控、易中断。
  • 增强健壮性建议:
    • 添加 set_time_limit(0) 防止超时;
    • 每次写入后 sleep(0.1) 缓解 I/O 压力;
    • 记录日志(如 error_log("Export batch {$offset} done"))便于排障。

通过以上重构,你的导出逻辑即具备了自动化、可扩展、生产就绪的批量处理能力。

立即学习“PHP免费学习笔记(深入)”;

相关文章

PHP速学教程(入门到精通)
PHP速学教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

PixTV
PixTV Hot

PixTV是一款面向AIGC内容创作的AI视频生成工具。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

火山引擎

火山引擎是一款面向企业的云计算与AI服务平台。

AionClaw
AionClaw Hot

AionClaw是一款面向办公、创作和编程任务的AI桌面智能体。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

相关专题

更多
php文件怎么打开
php文件怎么打开

打开php文件步骤:1、选择文本编辑器;2、在选择的文本编辑器中,创建一个新的文件,并将其保存为.php文件;3、在创建的PHP文件中,编写PHP代码;4、要在本地计算机上运行PHP文件,需要设置一个服务器环境;5、安装服务器环境后,需要将PHP文件放入服务器目录中;6、一旦将PHP文件放入服务器目录中,就可以通过浏览器来运行它。

10884

2023.09.01

php怎么取出数组的前几个元素
php怎么取出数组的前几个元素

取出php数组的前几个元素的方法有使用array_slice()函数、使用array_splice()函数、使用循环遍历、使用array_slice()函数和array_values()函数等。本专题为大家提供php数组相关的文章、下载、课程内容,供大家免费下载体验。

6341

2023.10.11

php反序列化失败怎么办
php反序列化失败怎么办

php反序列化失败的解决办法检查序列化数据。检查类定义、检查错误日志、更新PHP版本和应用安全措施等。本专题为大家提供php反序列化相关的文章、下载、课程内容,供大家免费下载体验。

2135

2023.10.11

php怎么连接mssql数据库
php怎么连接mssql数据库

连接方法:1、通过mssql_系列函数;2、通过sqlsrv_系列函数;3、通过odbc方式连接;4、通过PDO方式;5、通过COM方式连接。想了解php怎么连接mssql数据库的详细内容,可以访问下面的文章。

4008

2023.10.23

php连接mssql数据库的方法
php连接mssql数据库的方法

php连接mssql数据库的方法有使用PHP的MSSQL扩展、使用PDO等。想了解更多php连接mssql数据库相关内容,可以阅读本专题下面的文章。

4714

2023.10.23

html怎么上传
html怎么上传

html通过使用HTML表单、JavaScript和PHP上传。更多关于html的问题详细请看本专题下面的文章。php中文网欢迎大家前来学习。

3711

2023.11.03

PHP出现乱码怎么解决
PHP出现乱码怎么解决

PHP出现乱码可以通过修改PHP文件头部的字符编码设置、检查PHP文件的编码格式、检查数据库连接设置和检查HTML页面的字符编码设置来解决。更多关于php乱码的问题详情请看本专题下面的文章。php中文网欢迎大家前来学习。

5297

2023.11.09

php文件怎么在手机上打开
php文件怎么在手机上打开

php文件在手机上打开需要在手机上搭建一个能够运行php的服务器环境,并将php文件上传到服务器上。再在手机上的浏览器中输入服务器的IP地址或域名,加上php文件的路径,即可打开php文件并查看其内容。更多关于php相关问题,详情请看本专题下面的文章。php中文网欢迎大家前来学习。

4162

2023.11.13

OpenJDK JVM参数怎么调优
OpenJDK JVM参数怎么调优

Java应用运行缓慢,如何调整JVM参数?本专题介绍OpenJDK JVM性能调优的基本流程,涵盖性能指标确认、运行数据采集、内存配置和垃圾回收分析,帮助你先定位瓶颈,再通过对照测试验证效果,避免直接套用参数而影响应用稳定性。

20

2026.10.16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL vs MySQL
PostgreSQL vs MySQL

共1课时 | 188人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn