讲师中心 微信公众号
AI工具推荐 视频效率加速

HTML5中利用游标处理百万级数据避免浏览器内存崩溃

大晨吖_4838

大晨吖_4838

发布时间:2026-03-22 01:25:11

|

750人浏览过

|

来源于php中文网

原创

根本解法是放弃全量加载,改用流式分页+增量处理+及时释放引用:通过Fetch+ReadableStream逐段读取、服务端游标分页避免OFFSET、前端每批处理后切断引用链,并可结合Web Worker转移计算任务。

html5中利用游标处理百万级数据避免浏览器内存崩溃

直接在浏览器中处理百万级数据极易触发内存溢出,根本原因在于 JavaScript 单线程 + 堆内存有限(通常 512MB–2GB,且受标签页限制),而一次性加载全部数据到内存(如 fetch 后 JSON.parse)会瞬间占满可用空间。真正的解法不是“优化游标”,而是**放弃全量加载,改用流式分页 + 增量处理 + 及时释放引用**。

用 Fetch + ReadableStream 实现数据流式读取

服务端需支持分块返回(如按行、按记录或按固定大小 chunk),前端用 response.body.getReader() 逐段读取,不等待全部响应完成:

  • 服务端响应头设 Content-Type: application/json-seq 或自定义格式(如每行一个 JSON 对象)
  • 前端用 const reader = response.body.getReader() 获取流读取器
  • 循环调用 reader.read(),每次只解析当前 chunk 中的若干条记录(例如 100 条),处理完立即丢弃引用
  • 避免拼接完整字符串——用 TextDecoder 流式解码,边读边切分,不缓存整段文本

后端配合:提供游标分页接口(非 OFFSET/LIMIT)

前端传 cursor(如上一页最后一条记录的 ID 或时间戳),后端用 WHERE 条件高效查询下一批数据:

  • 示例请求:GET /api/data?cursor=123456&limit=500
  • 数据库查询用 WHERE id > ? ORDER BY id LIMIT ?,避免 OFFSET 越往后越慢
  • 每次响应返回新 cursor(下一批起始点)和当前批次数据,前端仅保留必要字段,不深拷贝
  • 服务端响应体控制在 100KB 内,降低单次内存压力

前端增量处理与内存管控

每批数据处理完必须主动切断引用链,防止 V8 垃圾回收延迟:

立即学习“前端免费学习笔记(深入)”;

  • 用 for...of 或普通 for 遍历数组,避免 map/filter/reduce 创建中间数组
  • 处理函数内不闭包捕获大批量数据;用 let 声明临时变量,作用域结束即释放
  • 批量渲染时用 document.createDocumentFragment() 统一插入,避免反复触发重排
  • 监听 beforeunload 或定期检查 performance.memory(若支持),接近阈值时暂停加载并提示用户

替代方案:Web Worker + Transferable Objects

将解析、计算等重任务移出主线程,利用 postMessage 传递 ArrayBuffer 等可转移对象,实现零拷贝:

  • 主线程 fetch 二进制数据(response.arrayBuffer()),用 worker.postMessage(buffer, [buffer]) 直接移交所有权
  • Worker 内用 Uint8Array 解析,逐块转为 JS 对象,处理完即 delete 引用
  • 结果以小批次形式发回主线程渲染,避免 Worker 内存堆积
  • 适用于 CSV/JSONL 等结构化二进制流,比纯 JSON 字符串节省约 30% 内存

不复杂但容易忽略:浏览器崩溃往往不是因为“数据太大”,而是“同一时刻驻留内存的对象太多”。控制住单次驻留量、切断引用、让 GC 能及时工作,百万级数据就能稳稳跑在页面里。

HTML速学教程(入门课程)
HTML速学教程(入门课程)

HTML怎么学习?HTML怎么入门?HTML在哪学?HTML怎么学才快?不用担心,这里为大家提供了HTML速学教程(入门课程),有需要的小伙伴保存下载就能学习啦!

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

花生AI
花生AI Hot

一款AI视频创作工具,主要用于B站推出的AI视频创作工具,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

超级简历WonderCV

一款AI办公效率工具,主要用于免费求职简历模版下载制作,应届生职场人必备简历制作神器,适合需要提升相关任务效率的用户。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

PixTV
PixTV Hot

PixTV是一款面向AIGC内容创作的AI视频生成工具。

相关专题

更多
python是前端还是后端
python是前端还是后端

Python属于前端也属于后端,其灵活性和丰富的生态系统使得开发人员能够在不同的领域中灵活运用。本专题为大家提供python相关的文章、下载、课程内容,供大家免费下载体验。

2763

2023.08.11

前端如何实现即时通讯
前端如何实现即时通讯

实现即时通讯的方法有WebSocket、Long Polling、Server-Sent Events、WebRTC等等。详细介绍:1、WebSocket,它可以在客户端和服务器之间建立持久连接,实现实时的双向通信,前端可以使用 WebSocket API来创建WebSocket连接,并通过发送和接收消息来实现即时通讯;2、Long Polling,是一种模拟实时通信的技术等等。

6023

2023.10.09

前端和后端的区别
前端和后端的区别

前端关注的是用户界面的设计和交互,而后端则注重数据处理和逻辑控制。想了解更多前端后端的相关内容,可以阅读本专题下面的文章。

6970

2024.03.19

php和前端的关联介绍
php和前端的关联介绍

php既可以作为前端语言,也可以作为后端语言。想了解更多php和前端的相关内容,可以阅读本专题下面的文章。

6738

2024.03.22

前端外包工作内容有哪些
前端外包工作内容有哪些

前端外包工作内容包括:1. 网站和应用程序开发;2. 用户界面和交互设计;3. 用户体验优化;4. 设计和视觉开发;5. 跨浏览器兼容性;6. 性能优化;7. 维护和更新;8. 项目管理和沟通。想了解更多前端的相关内容,可以阅读本专题下面的文章。

963

2024.05.22

html版权符号
html版权符号

html版权符号是“©”,可以在html源文件中直接输入或者从word中复制粘贴过来,php中文网还为大家带来html的相关下载资源、相关课程以及相关文章等内容,供大家免费下载使用。

6915

2023.06.14

html在线编辑器
html在线编辑器

html在线编辑器是用于在线编辑的工具,编辑的内容是基于HTML的文档。它经常被应用于留言板留言、论坛发贴、Blog编写日志或等需要用户输入普通HTML的地方,是Web应用的常用模块之一。php中文网为大家带来了html在线编辑器的相关教程、以及相关文章等内容,供大家免费下载使用。

3832

2023.06.21

html网页制作
html网页制作

html网页制作是指使用超文本标记语言来设计和创建网页的过程,html是一种标记语言,它使用标记来描述文档结构和语义,并定义了网页中的各种元素和内容的呈现方式。本专题为大家提供html网页制作的相关的文章、下载、课程内容,供大家免费下载体验。

3510

2023.07.31

Vite 项目如何打包和部署
Vite 项目如何打包和部署

Vite项目打包部署专题汇集生产构建、产物预览、输出目录、资源路径、Nginx与GitHub Pages部署及常见白屏和路由404问题的已审核文章,帮助读者完成上线流程。

100

2026.10.28

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn