讲师中心 微信公众号
AI工具推荐 视频效率加速

通过 Web Worker 实现超大文件的 MD5 异步计算及秒传判定

浅杰姑娘_9949

浅杰姑娘_9949

发布时间:2026-05-21 16:33:26

|

661人浏览过

|

来源于php中文网

原创

必须用 Web Worker 计算大文件 MD5,因 JS 单线程下主线程计算会导致 UI 冻结;需分片(2–8MB)+ 增量哈希 + 结构化克隆传递 File,再通过服务端 MD5 校验实现秒传。

直接在主线程算大文件 md5,页面会卡死几秒甚至十几秒,用户点不动按钮、进度条不动、体验极差。用 web worker 把计算挪到后台线程,界面完全不卡,还能准确拿到文件指纹用于秒传判定——这才是生产环境该有的做法。

为什么必须用 Web Worker 算 MD5

浏览器 JS 是单线程的,而 MD5 计算是纯 CPU 密集型任务。对一个 2GB 文件:

  • 主线程计算:占用主线程超 10 秒,UI 完全冻结
  • Web Worker 计算:主线程照常响应点击、滚动、动画,用户无感知
  • 实测数据:512MB 文件,主线程耗时 14.3 秒且卡死;Worker 耗时 15.1 秒但 UI 零延迟

分片计算是关键前提

不能把整个大文件一次性读进内存(会爆内存、触发浏览器崩溃),必须边切片边计算:

  • 推荐切片大小:2–8 MB(根据文件体积动态调整,比如 ≤20MB 用 1MB,≥200MB 用 6–8MB)
  • 用 File.prototype.slice 分块,配合 FileReader.readAsArrayBuffer 逐块读取
  • 使用 SparkMD5.ArrayBuffer 的增量接口(append() + end()),避免重复构造对象

Worker 文件怎么写才可靠

子线程不能直接 import 模块,需用 importScripts 加载本地脚本:

  • 把 spark-md5.min.js 内容复制到 public/spark.js
  • Worker 文件开头写:importScripts('/spark.js')
  • 接收主线程传入的 File 对象(注意:File 可结构化克隆,能安全传递)
  • 计算完成后调用 postMessage({ md5: 'xxx', totalChunks: 123 }) 返回结果

秒传判定的完整链路

拿到文件整体 MD5 后,不是直接上传,而是先和服务端确认是否已存在:

  • 前端发起请求:POST /api/upload/check?fileMd5=xxx
  • 服务端查库或对象存储(如 MinIO)中是否存在同 MD5 的完整文件
  • 命中则返回 { code: 200, url: '/files/xxx.mp4' },前端跳过上传,完成“秒传”
  • 未命中才进入切片上传流程,同时开启断点续传支持

不复杂但容易忽略:MD5 是秒传的钥匙,Worker 是不让用户等得焦虑的保障。两者结合,才是现代大文件上传的标配。

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
VibeKnow
VibeKnow Hot

一款AI视频创作工具,主要用于全球首个AI知识视频创作平台,文档、文章、网页,一键生成视频,适合需要提升相关任务效率的用户。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

小橡皮AI

一款AI工具,主要用于小橡皮一键去AI味,将机器味重的内容改得更有活人感,防止因为 AI 内容被平台打上 AI 标签,以及限流,适合需要提升相关任务效率的用户。

墨刀AI
墨刀AI Hot

一款AI图像与设计工具,主要用于产品经理的专属智能体,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

切问学术

切问学术是一款AI论文写作工具,复旦大学NLP团队推出的AI学术智能体。

立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

相关专题

更多
js获取数组长度的方法
js获取数组长度的方法

在js中,可以利用array对象的length属性来获取数组长度,该属性可设置或返回数组中元素的数目,只需要使用“array.length”语句即可返回表示数组对象的元素个数的数值,也就是长度值。php中文网还提供JavaScript数组的相关下载、相关课程等内容,供大家免费下载使用。

5446

2023.06.20

js刷新当前页面
js刷新当前页面

js刷新当前页面的方法:1、reload方法,该方法强迫浏览器刷新当前页面,语法为“location.reload([bForceGet]) ”;2、replace方法,该方法通过指定URL替换当前缓存在历史里(客户端)的项目,因此当使用replace方法之后,不能通过“前进”和“后退”来访问已经被替换的URL,语法为“location.replace(URL) ”。php中文网为大家带来了js刷新当前页面的相关知识、以及相关文章等内容

1329

2023.07.04

js四舍五入
js四舍五入

js四舍五入的方法:1、tofixed方法,可把 Number 四舍五入为指定小数位数的数字;2、round() 方法,可把一个数字舍入为最接近的整数。php中文网为大家带来了js四舍五入的相关知识、以及相关文章等内容

5384

2023.07.04

js删除节点的方法
js删除节点的方法

js删除节点的方法有:1、removeChild()方法,用于从父节点中移除指定的子节点,它需要两个参数,第一个参数是要删除的子节点,第二个参数是父节点;2、parentNode.removeChild()方法,可以直接通过父节点调用来删除子节点;3、remove()方法,可以直接删除节点,而无需指定父节点;4、innerHTML属性,用于删除节点的内容。

1020

2023.09.01

JavaScript转义字符
JavaScript转义字符

JavaScript中的转义字符是反斜杠和引号,可以在字符串中表示特殊字符或改变字符的含义。本专题为大家提供转义字符相关的文章、下载、课程内容,供大家免费下载体验。

1956

2023.09.04

js生成随机数的方法
js生成随机数的方法

js生成随机数的方法有:1、使用random函数生成0-1之间的随机数;2、使用random函数和特定范围来生成随机整数;3、使用random函数和round函数生成0-99之间的随机整数;4、使用random函数和其他函数生成更复杂的随机数;5、使用random函数和其他函数生成范围内的随机小数;6、使用random函数和其他函数生成范围内的随机整数或小数。

3785

2023.09.04

如何启用JavaScript
如何启用JavaScript

JavaScript启用方法有内联脚本、内部脚本、外部脚本和异步加载。详细介绍:1、内联脚本是将JavaScript代码直接嵌入到HTML标签中;2、内部脚本是将JavaScript代码放置在HTML文件的`<script>`标签中;3、外部脚本是将JavaScript代码放置在一个独立的文件;4、外部脚本是将JavaScript代码放置在一个独立的文件。

4953

2023.09.12

Js中Symbol类详解
Js中Symbol类详解

javascript中的Symbol数据类型是一种基本数据类型,用于表示独一无二的值。Symbol的特点:1、独一无二,每个Symbol值都是唯一的,不会与其他任何值相等;2、不可变性,Symbol值一旦创建,就不能修改或者重新赋值;3、隐藏性,Symbol值不会被隐式转换为其他类型;4、无法枚举,Symbol值作为对象的属性名时,默认是不可枚举的。

3260

2023.09.20

Uvicorn 报错与问题解决教程
Uvicorn 报错与问题解决教程

本专题汇总了Uvicorn服务器常见问题与报错解决的教程合集,涵盖启动失败、端口占用、模块导入错误、事件循环冲突及热重载失效等典型故障的排查思路。同时整理了多进程与Worker配置、SSL/HTTPS证书报错、跨域与代理配置等实战解决方案,助你快速定位并解决Uvicorn运行中的各类问题。

0

2026.11.02

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn