讲师中心 微信公众号
AI工具推荐 视频效率加速

PHP Webman实现数据导出CSV_Webman不占用内存处理百万数据【案例】

酷晨姑娘_3261

酷晨姑娘_3261

发布时间:2026-05-21 22:20:47

|

343人浏览过

|

来源于php中文网

原创

Webman中导出CSV需用Response::create()构造原始响应并设置Content-Type、Content-Disposition等头,禁用OutputMiddleware,手动写入UTF-8 BOM及fputcsv数据,避免缓冲区覆盖和中文乱码。

php webman实现数据导出csv_webman不占用内存处理百万数据【案例】

Webman 默认不自动处理输出缓冲和流式响应,直接套用传统 PHP 的 fputcsv($output, $row) 会卡在缓冲区、触发内存溢出或下载失败——必须手动接管输出流并禁用框架默认的响应包装。

Webman 中如何正确设置 CSV 响应头

Webman 使用 Response 对象构造返回,不能直接调用 header()。否则会被后续 Response 覆盖,导致浏览器无法识别为下载文件。

  • 必须用 Response::create() 构造原始响应,并显式设置 Content-Type 和 Content-Disposition
  • Content-Type 推荐用 text/csv; charset=utf-8,不要用 application/vnd.ms-excel(已过时,部分新版浏览器拒绝解析)
  • 文件名需 rawurlencode() 处理,否则中文名在 Safari 或 Chrome 下可能乱码或截断
  • 务必调用 ->withHeader('Cache-Control', 'no-cache') 和 ->withHeader('Expires', '0'),避免代理或 CDN 缓存错误响应

为什么 fopen('php://output') 在 Webman 里会失败

Webman 默认启用 OutputMiddleware,它会拦截并重写所有输出内容(比如自动加 <html> 或 JSON 包裹)。直接 fopen('php://output') 写入的数据,最终被中间件覆盖或丢弃。

  • 正确做法是:在路由闭包或控制器中,先调用 ob_end_clean() 清空已有缓冲
  • 再用 response()->withStatus(200)->withHeader(...)->withBody(...) 构造响应体
  • 或者更稳妥地:用 StreamedResponse(需自行实现),把 CSV 生成逻辑封装为回调函数传入
  • 切勿在中间件链中任何位置 echo/print_r/var_dump,哪怕一个空格也会破坏 CSV 结构

导出百万行时 PDO 查询必须禁用缓冲

Webman 常搭配 PDO 连接 MySQL,默认开启 PDO::MYSQL_ATTR_USE_BUFFERED_QUERY,查 100 万行会全量加载进 PHP 内存,直接 OOM。

QuickBooks Mileage CSV
QuickBooks Mileage CSV

使用 qbo-mileage CLI 及用户凭证,从 Airtable、Outlook 或 Google Calendar 记录生成 QuickBooks Online 里程 CSV 文件。

下载

立即学习“PHP免费学习笔记(深入)”;

  • 创建 PDO 实例时,必须显式关闭缓冲:new PDO($dsn, $user, $pass, [PDO::MYSQL_ATTR_USE_BUFFERED_QUERY => false])
  • 查询后必须用 $stmt->fetch(PDO::FETCH_NUM) 逐行取,绝不能用 fetchAll()
  • 若 SQL 中有 JOIN 或复杂计算,优先下推到数据库层完成(如日期格式化用 DATE_FORMAT(created_at, '%Y-%m-%d')),避免 PHP 循环中重复调用函数
  • 每写入约 1000 行后,调用 ob_flush() 和 flush(),防止 Nginx 或 Apache 的 proxy_buffer 把数据攒太久

中文字段乱码的真正原因和修复点

不是编码设错,而是 Excel 默认不识别 UTF-8,除非你加 BOM。但 BOM 只能加在文件最开头,且只能加一次——Webman 的响应体一旦开始写入就无法回头补。

  • 必须在写入第一行(表头)前,先向输出流写入 \xEF\xBB\xBF(即 chr(0xEF).chr(0xBB).chr(0xBF))
  • 不能用 fputcsv() 写 BOM,得用 fwrite($fp, "\xEF\xBB\xBF") 单独写
  • 表头数组本身要用 UTF-8 字符串,不要用 iconv() 或 mb_convert_encoding() 二次转码,否则可能重复编码
  • 如果用 StreamedResponse,BOM 必须作为第一个 yield 的字符串,否则 Excel 打开仍会显示“兼容性警告”

最容易被忽略的是:Webman 的 onWorkerStart 里若提前初始化了 PDO 连接,该连接默认仍带缓冲属性,必须在每次请求内重新 setAttribute;还有就是开发环境开了 Xdebug,它会让 yield 生成器性能暴跌,导出时间翻倍——上线前记得关掉。

相关文章

PHP速学教程(入门到精通)
PHP速学教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
火山引擎

火山引擎是一款面向企业的云计算与AI服务平台。

墨刀AI
墨刀AI Hot

一款AI图像与设计工具,主要用于产品经理的专属智能体,适合需要提升相关任务效率的用户。

二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

PixPix
PixPix Hot

PixPix是一款面向电商视觉生产的AI商品图生成工具。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

VibeKnow
VibeKnow Hot

一款AI视频创作工具,主要用于全球首个AI知识视频创作平台,文档、文章、网页,一键生成视频,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

相关专题

更多
php文件怎么打开
php文件怎么打开

打开php文件步骤:1、选择文本编辑器;2、在选择的文本编辑器中,创建一个新的文件,并将其保存为.php文件;3、在创建的PHP文件中,编写PHP代码;4、要在本地计算机上运行PHP文件,需要设置一个服务器环境;5、安装服务器环境后,需要将PHP文件放入服务器目录中;6、一旦将PHP文件放入服务器目录中,就可以通过浏览器来运行它。

10024

2023.09.01

php怎么取出数组的前几个元素
php怎么取出数组的前几个元素

取出php数组的前几个元素的方法有使用array_slice()函数、使用array_splice()函数、使用循环遍历、使用array_slice()函数和array_values()函数等。本专题为大家提供php数组相关的文章、下载、课程内容,供大家免费下载体验。

5961

2023.10.11

php反序列化失败怎么办
php反序列化失败怎么办

php反序列化失败的解决办法检查序列化数据。检查类定义、检查错误日志、更新PHP版本和应用安全措施等。本专题为大家提供php反序列化相关的文章、下载、课程内容,供大家免费下载体验。

2075

2023.10.11

php怎么连接mssql数据库
php怎么连接mssql数据库

连接方法:1、通过mssql_系列函数;2、通过sqlsrv_系列函数;3、通过odbc方式连接;4、通过PDO方式;5、通过COM方式连接。想了解php怎么连接mssql数据库的详细内容,可以访问下面的文章。

3728

2023.10.23

php连接mssql数据库的方法
php连接mssql数据库的方法

php连接mssql数据库的方法有使用PHP的MSSQL扩展、使用PDO等。想了解更多php连接mssql数据库相关内容,可以阅读本专题下面的文章。

4434

2023.10.23

html怎么上传
html怎么上传

html通过使用HTML表单、JavaScript和PHP上传。更多关于html的问题详细请看本专题下面的文章。php中文网欢迎大家前来学习。

3471

2023.11.03

PHP出现乱码怎么解决
PHP出现乱码怎么解决

PHP出现乱码可以通过修改PHP文件头部的字符编码设置、检查PHP文件的编码格式、检查数据库连接设置和检查HTML页面的字符编码设置来解决。更多关于php乱码的问题详情请看本专题下面的文章。php中文网欢迎大家前来学习。

4957

2023.11.09

php文件怎么在手机上打开
php文件怎么在手机上打开

php文件在手机上打开需要在手机上搭建一个能够运行php的服务器环境,并将php文件上传到服务器上。再在手机上的浏览器中输入服务器的IP地址或域名,加上php文件的路径,即可打开php文件并查看其内容。更多关于php相关问题,详情请看本专题下面的文章。php中文网欢迎大家前来学习。

3882

2023.11.13

LLVM自定义Pass怎么写
LLVM自定义Pass怎么写

本专题聚焦LLVM自定义Pass开发,整理Pass类结构、run()方法、PreservedAnalyses、CMake构建、插件注册、-load-pass-plugin加载和测试用例编写流程。

80

2026.09.30

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Webman和FastAPI的性能对比
Webman和FastAPI的性能对比

共0课时 | 308人学习

Webman中文手册
Webman中文手册

共0课时 | 0人学习

webman初步使用及后台搭建
webman初步使用及后台搭建

共15课时 | 2.7万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn