流式处理核心是边读边解析、边解析边输出，避免全量加载；需用可读流替代readAsText，按块拉取并状态机式增量解析，配合批渲染与错误隔离。
流模式重构前端数据解析引擎，核心是把“等文件全加载完再处理”改成“边读边解析、边解析边输出”，避免内存爆满、页面卡死。关键不在换库，而在改变数据流动的节奏和边界控制。
用可读流替代 fileReader.readAsText
传统 FileReader 的 readAsText 会把整个文件转成字符串塞进内存，100MB CSV 就占 100MB+ 内存，还可能触发 GC 暂停。换成 SplFileObject（PHP）或浏览器原生 ReadableStream（配合 stream.pipeTo() 或 getReader()），就能按块拉取：
- Chrome/Firefox 支持
fetch(fileInput.files[0]).then(r => r.body)获取原始流 - 用
const reader = stream.getReader()手动控制每次读多少字节（如 64KB） - 每读一块就解析该块内的完整行（注意跨块换行符截断，需缓存不完整行）
解析逻辑必须支持增量输入
不能依赖“全文本到手才开始 parse”，得把解析器设计成状态机。比如 CSV 解析：
- 遇到
"进入引号内模式，忽略内部逗号和换行 - 遇到
,\n切分字段/行，立即 emit 一条 record - 维护一个
pendingLine缓冲区，存放未结束的行
JSON 场景同理：用 ijson（Python 后端）或 jsonl 格式 + 行级流读取，比一次性 JSON.parse 安全十倍。
PigX UI 前端开发
下载
PigX UI Pro 前端开发指南 - Vue 3 + TypeScript + Element Plus。当用户提到 PigX UI、PigX 前端、lgb-mgui 项目、Vue 3 企业级后台开发、Element Plus 后台开发时使用此技能。
立即学习“前端免费学习笔记（深入）”；
绑定 UI 渲染节奏，避免重绘雪崩
解析快不等于用户感知快。若每解析 10 行就 appendChild 一次，滚动卡顿不可避免。应：
- 设置批处理阈值（如每 50 行合并为一个 DocumentFragment）
- 用
requestIdleCallback或setTimeout(..., 0)把渲染切片到空闲帧 - 对超长列表启用虚拟滚动，只渲染可视区域
错误隔离与恢复能力不可少
大文件常含脏数据。流式处理中某一行解析失败，不能让整条流中断：
- 在解析器内 try/catch 单行，记录错误位置但 continue 下一行
- 暴露
error$Observable 或on('error')事件，供上层汇总展示 - 支持跳过坏块（如跳过损坏的 ZIP 子项、跳过非法 UTF-8 字节序列）
重构不是一步到位，先从 CSV/TSV 这类结构清晰的格式切入，验证流控与内存曲线，再扩展到嵌套 JSON 或 Excel。真正起效的不是“用了流”，而是每一环节都清楚自己吃多少、吐多少、卡住时怎么退。
