讲师中心 微信公众号
AI工具推荐 视频效率加速

Golang实现多端并发下载器_Range请求与文件合并

星强同学_9236

星强同学_9236

发布时间:2026-02-26 12:23:32

|

910人浏览过

|

来源于php中文网

原创

Go Range下载需手动设Range头并校验206状态码,并发写用共享file.WriteAt,限流用io.LimitReader,续传依赖主文件大小而非临时分片,最终以完整文件哈希校验。

golang实现多端并发下载器_range请求与文件合并

Go 用 http.NewRequest 发起 Range 请求,别漏掉 Range 头和状态码校验

Range 下载的前提是服务端支持分片,而 Go 默认的 http.Get 不带 Range 头,必须手动生成请求。常见错误是只加了头但没检查响应状态码——服务端不支持时返回 200(全量)而非 206(部分),导致后续合并逻辑错乱。

  • 用 http.NewRequest("GET", url, nil) 创建请求,再调用 req.Header.Set("Range", "bytes=0-1023")
  • 务必检查 resp.StatusCode == http.StatusPartialContent,否则说明 Range 被忽略,得降级为单连接下载或报错退出
  • 某些 CDN 或 Nginx 配置下,Accept-Ranges: bytes 响应头存在 ≠ 实际支持 Range;最终以状态码为准
  • 不要复用同一个 *http.Client 实例发多个 Range 请求却不设 Timeout——某个分片卡住会拖垮整个下载器

并发写文件要用 os.OpenFile + file.WriteAt,别用 os.Create 或 file.Write

多个 goroutine 同时写一个文件,如果各自打开再写,轻则覆盖,重则 panic(“bad file descriptor”)。file.Write 是顺序写,无法指定偏移;而 file.WriteAt 才能精准落盘到指定字节位置。

  • 主文件必须用 os.OpenFile(path, os.O_CREATE|os.O_RDWR, 0644) 一次性打开,所有 goroutine 共享这个 *os.File
  • 每个分片 goroutine 拿到自己的 start 偏移后,直接调 file.WriteAt(data, int64(start))
  • 注意:Windows 下 WriteAt 可能不原子,但对下载合并影响不大;Linux/macOS 完全可靠
  • 别在 goroutine 里 defer file.Close()——主协程要等所有分片写完才关,否则文件句柄提前释放

io.Copy 配合 io.LimitReader 控制分片大小,避免内存爆掉

用 io.Copy 直接把 HTTP body 写进 buffer 容易 OOM,尤其当服务端不守约、返回远超 Range 指定长度的数据时。必须限流,且不能依赖 Content-Length——它可能缺失或不准。

Golang Uber Dig
Golang Uber Dig

使用 uber-go/dig 在 Golang 中实现依赖注入——基于反射容器,提供 Provide/Invoke、dig.In/dig.Out 参数与结果对象,支持命名依赖等

下载
  • 对每个分片响应体,包一层 io.LimitReader(resp.Body, int64(chunkSize)),chunkSize 就是该分片理论长度
  • 然后用 io.Copy 写入 bytes.Buffer 或直接 WriteAt 到文件——后者更省内存
  • 读完后检查实际写入字节数是否等于 chunkSize,不等就说明服务端提前 EOF 或出错,需重试或报错
  • 别用 resp.Body.Read() 自己循环读——容易丢字节或阻塞,io.Copy 内部已做最优缓冲

合并完成前别删临时分片,断点续传靠的是 os.Stat 检查已写范围

下载中途失败,下次启动不是从头开始,而是扫描目标文件已存在的字节范围,跳过已成功写入的部分。临时分片文件(如 .part001)只是辅助调试,真正续传依据是主文件本身的长度和内容完整性。

立即学习“go语言免费学习笔记(深入)”;

  • 启动时先 os.Stat(targetFile),拿到当前文件大小 curSize
  • 按 curSize / chunkSize 算出已成功写满的分片数,剩余未写或写坏的部分才重新发起 Range 请求
  • 不要依赖临时文件是否存在来判断进度——它们可能被误删,而主文件只要没被截断就是可信的
  • 最后一步校验建议用 sha256.Sum256 对完整文件哈希,而不是比对每个分片哈希——网络传输中分片哈希无意义

Range 下载真正的复杂点不在并发控制,而在服务端行为的不可控:状态码飘忽、响应头缺失、实际数据长度不符、中间代理截断……所有这些都得在每次请求后立刻检查,不能攒到合并阶段再处理。

热门AI工具

更多
二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

超级麦吉

一款通过数字员工协作完成调研、数据分析与文档制作的AI办公平台。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

相关专题

更多
golang如何定义变量
golang如何定义变量

golang定义变量的方法:1、声明变量并赋予初始值“var age int =值”;2、声明变量但不赋初始值“var age int”;3、使用短变量声明“age :=值”等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

519

2024.02.23

golang有哪些数据转换方法
golang有哪些数据转换方法

golang数据转换方法:1、类型转换操作符;2、类型断言;3、字符串和数字之间的转换;4、JSON序列化和反序列化;5、使用标准库进行数据转换;6、使用第三方库进行数据转换;7、自定义数据转换函数。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

616

2024.02.23

golang常用库有哪些
golang常用库有哪些

golang常用库有:1、标准库;2、字符串处理库;3、网络库;4、加密库;5、压缩库;6、xml和json解析库;7、日期和时间库;8、数据库操作库;9、文件操作库;10、图像处理库。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

1216

2024.02.23

golang和python的区别是什么
golang和python的区别是什么

golang和python的区别是:1、golang是一种编译型语言,而python是一种解释型语言;2、golang天生支持并发编程,而python对并发与并行的支持相对较弱等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

791

2024.03.05

golang是免费的吗
golang是免费的吗

golang是免费的。golang是google开发的一种静态强类型、编译型、并发型,并具有垃圾回收功能的开源编程语言,采用bsd开源协议。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

1786

2024.05.21

golang结构体相关大全
golang结构体相关大全

本专题整合了golang结构体相关大全,想了解更多内容,请阅读专题下面的文章。

5094

2025.06.09

golang相关判断方法
golang相关判断方法

本专题整合了golang相关判断方法,想了解更详细的相关内容,请阅读下面的文章。

2354

2025.06.10

golang数组使用方法
golang数组使用方法

本专题整合了golang数组用法,想了解更多的相关内容,请阅读专题下面的文章。

4226

2025.06.17

Uvicorn 报错与问题解决教程
Uvicorn 报错与问题解决教程

本专题汇总了Uvicorn服务器常见问题与报错解决的教程合集,涵盖启动失败、端口占用、模块导入错误、事件循环冲突及热重载失效等典型故障的排查思路。同时整理了多进程与Worker配置、SSL/HTTPS证书报错、跨域与代理配置等实战解决方案,助你快速定位并解决Uvicorn运行中的各类问题。

0

2026.11.02

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn