讲师中心 微信公众号
AI工具推荐 视频效率加速

PHP创建文件如何分块写入_处理超大文件的分段写入【操作】

落宇小哥_9032

落宇小哥_9032

发布时间:2026-02-21 15:11:03

|

421人浏览过

|

来源于php中文网

原创

PHP写入超大文件需分块写入而非一次性fwrite,否则内存溢出被系统kill;每次写1–8MB并fflush()确保OS缓冲区刷新,避免依赖fclose(),错误时用ftell()定位断点。

php创建文件如何分块写入_处理超大文件的分段写入【操作】

PHP写入超大文件为什么不能直接 fwrite()

内存会爆。哪怕你用 fopen(..., 'w') 打开,fwrite() 一次性塞几百MB数据进去,PHP进程很可能被系统 kill——尤其是 CLI 模式下 memory_limit 未调高时。真实场景里,导出千万行 CSV、拼接 TB 级日志、生成备份镜像,都得靠分块写入。

核心原则就一条:每次只往文件句柄里写一个合理大小的数据块(比如 1–8 MB),写完立即 fflush(),不累积到内存。

  • 块大小不是越大越好:8 MB 是多数 Linux 文件系统单次 write 的友好上限,再大可能触发内核缓冲区等待
  • 别依赖 fclose() 自动刷盘:它只保证句柄关闭,不保证磁盘落盘;fflush() 才强制把 PHP 缓冲区内容推给 OS
  • 如果目标是追加写(如日志),务必用 'a' 或 'ab' 模式打开,否则 fseek() 错位或覆盖已有内容

用 fwrite() 分块写入的最小可靠写法

以下代码能扛住 GB 级写入,且不崩内存:

$fp = fopen('/path/to/bigfile.dat', 'wb');
if (!$fp) {
    throw new RuntimeException('Cannot open file for writing');
}
<p>$data_source = /<em> 你的数据生成器,例如 PDOStatement::fetch() 或 yield from file() </em>/;
$chunk_size = 4 <em> 1024 </em> 1024; // 4MB</p><p>while ($chunk = get_next_chunk($data_source, $chunk_size)) {
$written = fwrite($fp, $chunk);
if ($written === false || $written !== strlen($chunk)) {
throw new RuntimeException('Write failed or partial write');
}
fflush($fp); // 关键:立刻刷到 OS 缓冲区
}</p><p>fclose($fp);
  • get_next_chunk() 必须按需拉取,不能提前把全部数据 load 到数组里
  • 二进制模式 'wb' 避免 Windows 下 \n 被误转成 \r\n
  • strlen($chunk) 和 $written 必须严格比对——部分写入在 NFS 或满磁盘时真会发生

遇到 fwrite(): Write of X bytes failed 怎么办

这个错误不是 PHP bug,而是底层 write(2) 系统调用返回失败,常见于:

立即学习“PHP免费学习笔记(深入)”;

btpanel phpsite 宝塔面板PHP网站
btpanel phpsite 宝塔面板PHP网站

宝塔面板 PHP 网站管理:站点创建、删除、启停、PHP 版本切换、域名管理、SSL证书管理、伪静态管理、数据库管理

下载
  • 磁盘空间不足(df -h 看一下)
  • 用户配额超限(quota -u $USER)
  • 文件系统只读(mount | grep $(df . | tail -1 | awk '{print $1}'))
  • NFS 服务端中断或网络抖动(此时 fwrite() 可能卡住几秒后报错)

应对策略不是重试,而是立刻检查 error_get_last() 并记录上下文:

$result = fwrite($fp, $chunk);
if ($result === false) {
    $err = error_get_last();
    error_log(sprintf('fwrite failed at offset %d: %s', ftell($fp), $err['message']));
    throw new RuntimeException('Disk I/O error');
}

注意:ftell($fp) 在失败时仍有效,能帮你定位断点位置,方便后续续传。

想边写边压缩?别用 gzencode() 全量处理

对超大文件实时压缩,必须用流式方式,否则内存爆炸。PHP 原生支持 zlib:// 封装协议:

$fp = fopen('compress.zlib://'.realpath('/path/to/out.gz'), 'wb');
// 后续 fwrite() 写入的就是自动压缩后的内容
fwrite($fp, $chunk);
fflush($fp);
  • 路径必须用 realpath(),因为 compress.zlib:// 不支持相对路径
  • 该方式等价于用 gzopen() + gzwrite(),但更简洁;压缩级别默认为 Z_DEFAULT_COMPRESSION
  • 不要混用:不能对已打开的普通 fopen() 句柄再套 zlib,必须从打开阶段就指定协议

分块写入本身不关心内容是否压缩,关键在于“每次只喂一小口”,让 PHP 和 OS 都能喘气。真正容易被忽略的是:flush 时机、错误后的位置追踪、以及压缩协议对路径的苛刻要求。

相关文章

PHP速学教程(入门到精通)
PHP速学教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

php

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
AionClaw
AionClaw Hot

AionClaw是一款面向办公、创作和编程任务的AI桌面智能体。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

音述AI
音述AI Hot

一款AI音频处理工具,主要用于音述AI是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区,适合需要提升相关任务效率的用户。

小橡皮AI

一款AI工具,主要用于小橡皮一键去AI味,将机器味重的内容改得更有活人感,防止因为 AI 内容被平台打上 AI 标签,以及限流,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

切问学术

切问学术是一款AI论文写作工具,复旦大学NLP团队推出的AI学术智能体。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

相关专题

更多
python中print函数的用法
python中print函数的用法

python中print函数的语法是“print(value1, value2, ..., sep=' ', end=' ', file=sys.stdout, flush=False)”。本专题为大家提供print相关的文章、下载、课程内容,供大家免费下载体验。

3180

2023.09.27

python print用法与作用
python print用法与作用

本专题整合了python print的用法、作用、函数功能相关内容,阅读专题下面的文章了解更多详细教程。

269

2026.02.03

fclose函数的用法
fclose函数的用法

fclose是一个C语言和C++中的标准库函数,用于关闭一个已经打开的文件,是文件操作中非常重要的一个函数,用于将文件流与底层文件系统分离,释放相关的资源。更多关于fclose函数的相关问题,详情请看本专题下面的文章。php中文网欢迎大家前来学习。

842

2023.11.30

windows查看端口占用情况
windows查看端口占用情况

Windows端口可以认为是计算机与外界通讯交流的出入口。逻辑意义上的端口一般是指TCP/IP协议中的端口,端口号的范围从0到65535,比如用于浏览网页服务的80端口,用于FTP服务的21端口等等。怎么查看windows端口占用情况呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

3359

2023.07.26

查看端口占用情况windows
查看端口占用情况windows

端口占用是指与端口关联的软件占用端口而使得其他应用程序无法使用这些端口,端口占用问题是计算机系统编程领域的一个常见问题,端口占用的根本原因可能是操作系统的一些错误,服务器也可能会出现端口占用问题。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2918

2023.07.27

windows照片无法显示
windows照片无法显示

当我们尝试打开一张图片时,可能会出现一个错误提示,提示说"Windows照片查看器无法显示此图片,因为计算机上的可用内存不足",本专题为大家提供windows照片无法显示相关的文章,帮助大家解决该问题。

1528

2023.08.01

windows查看端口被占用的情况
windows查看端口被占用的情况

windows查看端口被占用的情况的方法:1、使用Windows自带的资源监视器;2、使用命令提示符查看端口信息;3、使用任务管理器查看占用端口的进程。本专题为大家提供windows查看端口被占用的情况的相关的文章、下载、课程内容,供大家免费下载体验。

2659

2023.08.02

windows无法访问共享电脑
windows无法访问共享电脑

在现代社会中,共享电脑是办公室和家庭的重要组成部分。然而,有时我们可能会遇到Windows无法访问共享电脑的问题。这个问题可能会导致数据无法共享,影响工作和生活的正常进行。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

3330

2023.08.08

Vite 项目如何打包和部署
Vite 项目如何打包和部署

Vite项目打包部署专题汇集生产构建、产物预览、输出目录、资源路径、Nginx与GitHub Pages部署及常见白屏和路由404问题的已审核文章,帮助读者完成上线流程。

100

2026.10.28

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
墨刀帮助中心
墨刀帮助中心

共0课时 | 0人学习

MyEclipse学习中心
MyEclipse学习中心

共0课时 | 0人学习

Apache Subversion 官方手册
Apache Subversion 官方手册

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn