webkitdirectory 选中大文件夹会因 FileList 元数据和 blob 引用占用大量内存,需手动分片上传:对每个 File 调用 slice() 切成 5MB 片段,带 Content-Range 头,读完清空 reader,限并发 3 个,选中后立即预检。

直接用 <input type="file" webkitdirectory> 选中大文件夹,不加控制就上传,页面大概率卡死或触发 OOM——这不是后端扛不住,是前端把几百个 File 对象全塞进内存了。
为什么 webkitdirectory 会吃光内存
浏览器选中文件夹后,e.target.files 是一个只读 FileList,里面每个 File 实例都持有完整元数据(lastModified、webkitRelativePath、甚至未读取的 blob 引用)。选中含 500 个 10MB 文件的文件夹,光元数据就可能占 300MB+;一旦你调用 Array.from(files) 或遍历中误触 file.arrayBuffer(),瞬间爆内存。
-
webkitdirectory只影响选择范围,不改变后续处理逻辑——它不会自动分片、也不会懒加载 -
FormData.append("files", input.files)看似省事,实则把整个FileList塞进单个字段,fetch 时仍需逐个读取 blob - 哪怕你只打算发个路径列表,只要没手动释放引用,V8 就不敢回收这些
File对象
必须绕开表单提交,用 file.slice() 手动分片
真正可控的切片入口只有 file.slice(start, end)。所有“大文件上传”方案都从这里开始,文件夹上传也不例外——你要对每个 File 单独切片,而不是对整个文件夹批量提交。
生成可在 deepbi 沙箱 iframe 内运行或作为独立文件运行的交互式 HTML 页面,使用 `window.deepbi` JS SDK 实现数据查询、空间管理、文件浏览及用户操作。当用户提出以下需求时启用该能力: - 创建 KPI 仪表盘、数据表格、文件浏览器、成员列表、管理页面; - 明确要求“转成 dhtml”、“转译成 HTML”、“把 XX 页面转成……”、“控制台页面”、“管理后台”、“DeepBI 页面迁移”; - 提及位于 `apps/console/src/featur
- 分片大小建议设为
5 * 1024 * 1024(5MB):太小导致 HTTP 头开销占比过高;太大容易触发单次FileReader内存峰值 - 每片请求必须带
Content-Range头,例如bytes 0-5242879/10485759,服务端靠这个定位写入位置 - 读完立即设
reader = null,避免闭包持有Blob引用,否则 GC 不敢回收 - 并发请求数限制在 3 个以内,用
async/await循环控制,别用Promise.all—— 浏览器同域并发上限通常是 6,盲目并发反而排队失败
选中后立刻做轻量预检,别等点击上传才处理
用户点选文件夹的瞬间,你就该拿到 FileList 并快速过一遍:总数量、总大小估算、是否含非法路径。这步必须同步完成,不能拖到上传按钮点击时再算。
立即学习“前端免费学习笔记(深入)”;
- 用
for (let i = 0; i 遍历,别用 <code>Array.from(files)—— 后者会强制创建新数组并拷贝全部引用 - 总大小估算用
files[i].size累加即可,别调file.arrayBuffer()或file.text() - 检查
file.webkitRelativePath是否含"../"或空路径,防止路径注入(如../../etc/passwd) - 若总大小超阈值(比如 2GB),直接提示“文件夹过大,请筛选后重试”,别让页面进入上传流程
真正麻烦的是服务端如何合并和校验
前端能做的只是把每片干净、有序、可重入地送出去。但如果你漏传 content-range、错用 multipart/form-data 包裹单片、或服务端没按偏移量原子写入,所有前端努力都白搭。断点续传不是靠前端“记进度”,而是靠服务端能根据每片的 filename + chunkIndex + totalChunks 精确定位、独立落盘、最后校验 MD5 或 SHA256 合并。


















