讲师中心 微信公众号
AI工具推荐 视频效率加速

如何使用Golang实现并发下载器_Golang并发下载任务与性能优化

冬芳小哥_8049

冬芳小哥_8049

发布时间:2026-02-17 10:47:02

|

966人浏览过

|

来源于php中文网

原创

复用 http.Client 可避免端口耗尽、DNS 失效和 TLS 重复开销;应显式构造共享 client 并配置 MaxIdleConns(100~500)、MaxIdleConnsPerHost(≥host 数)、IdleConnTimeout(30s)。

如何使用golang实现并发下载器_golang并发下载任务与性能优化

为什么 http.Client 要复用而不是每次新建

并发下载时如果每个 goroutine 都新建 http.Client,会快速耗尽本地端口(TIME_WAIT 占满)、DNS 缓存失效、TLS 握手重复开销大。默认的 http.DefaultClient 已配置合理的连接池,但更稳妥的是显式构造一个共享的 http.Client,并设置 Transport 的 MaxIdleConns 和 MaxIdleConnsPerHost:

  • MaxIdleConns 控制全局空闲连接总数,建议设为 100~500(取决于并发数)
  • MaxIdleConnsPerHost 建议至少等于预期并发下载的 host 数量,比如批量下 cdn.example.com 和 api.example.com,就至少设为 20~50
  • 不设置 IdleConnTimeout 容易导致连接长期空闲后被中间设备(如 NAT 网关)静默断开,建议设为 30s

如何用 sync.WaitGroup + chan 安全控制并发数

直接启动成百上千 goroutine 容易打爆内存或触发系统级限制(如文件描述符超限)。正确做法是用带缓冲的 chan struct{} 做信号量,配合 sync.WaitGroup 等待全部完成:

sem := make(chan struct{}, 10) // 最多 10 个并发
var wg sync.WaitGroup
<p>for _, url := range urls {
wg.Add(1)
go func(u string) {
defer wg.Done()
sem <- struct{}{}        // 获取令牌
defer func() { <-sem }() // 归还令牌(必须 defer,避免 panic 后漏归还)
downloadFile(u)
}(url)
}</p><p>wg.Wait()

注意:不要用 runtime.GOMAXPROCS 来“加速”下载 —— I/O 密集型任务不靠更多 P,靠连接复用和合理并发度。

io.Copy 比 io.ReadAll 更适合大文件下载

用 io.ReadAll(resp.Body) 会把整个响应体读进内存,下载 1GB 文件就占 1GB 内存;而 io.Copy 是流式写入,内存占用恒定在几 KB:

Golang Uber Dig
Golang Uber Dig

使用 uber-go/dig 在 Golang 中实现依赖注入——基于反射容器,提供 Provide/Invoke、dig.In/dig.Out 参数与结果对象,支持命名依赖等

下载

立即学习“go语言免费学习笔记(深入)”;

out, err := os.Create(filename)
if err != nil {
    return err
}
defer out.Close()
<p>_, err = io.Copy(out, resp.Body) // 直接流式写入磁盘
resp.Body.Close()                 // 必须显式 close,否则连接无法复用
  • 如果需要校验(如 SHA256),用 io.TeeReader 边读边算,避免二次读取
  • 务必检查 io.Copy 返回的 error,网络中断时它会返回 net.ErrClosed 或 io.ErrUnexpectedEOF
  • 不要忽略 resp.Body.Close() —— 不关会导致连接永远滞留在 idle 状态,最终耗尽 MaxIdleConns

重试逻辑该加在哪里、怎么加才不放大失败

HTTP 层重试不能无脑套在 http.Get 外面,否则可能重复提交 POST 请求。下载场景只对幂等的 GET 请求做重试,且需限制次数与退避:

  • 用 backoff.Retry(来自 github.com/cenkalti/backoff/v4)比手写 time.Sleep 更可靠
  • 只重试特定错误:net.ErrTimeout、net.ErrTemporary、http.ErrUseLastResponse,不重试 404、403 等客户端错误
  • 单个 URL 最多重试 3 次,指数退避起始 100ms,上限 2s
  • 重试时要新建 *http.Request,不能复用旧 request(header 可能含过期 auth token)

真正难处理的是部分下载(如服务端突然断连),这时得结合 Range header 和本地文件 Seek 续传 —— 这块逻辑容易出竞态,建议用现成库如 github.com/elliotchance/pie 或自己加文件锁。

相关文章

数码产品性能查询
数码产品性能查询

该软件包括了市面上所有手机CPU,手机跑分情况,电脑CPU,电脑产品信息等等,方便需要大家查阅数码产品最新情况,了解产品特性,能够进行对比选择最具性价比的商品。

下载

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

Seko
Seko Hot

一款AI视频创作工具,主要用于商汤科技推出的创编一体的AI短视频创作Agent,适合需要提升相关任务效率的用户。

火山引擎

火山引擎是一款面向企业的云计算与AI服务平台。

二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

相关专题

更多
golang如何定义变量
golang如何定义变量

golang定义变量的方法:1、声明变量并赋予初始值“var age int =值”;2、声明变量但不赋初始值“var age int”;3、使用短变量声明“age :=值”等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

519

2024.02.23

golang有哪些数据转换方法
golang有哪些数据转换方法

golang数据转换方法:1、类型转换操作符;2、类型断言;3、字符串和数字之间的转换;4、JSON序列化和反序列化;5、使用标准库进行数据转换;6、使用第三方库进行数据转换;7、自定义数据转换函数。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

596

2024.02.23

golang常用库有哪些
golang常用库有哪些

golang常用库有:1、标准库;2、字符串处理库;3、网络库;4、加密库;5、压缩库;6、xml和json解析库;7、日期和时间库;8、数据库操作库;9、文件操作库;10、图像处理库。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

1156

2024.02.23

golang和python的区别是什么
golang和python的区别是什么

golang和python的区别是:1、golang是一种编译型语言,而python是一种解释型语言;2、golang天生支持并发编程,而python对并发与并行的支持相对较弱等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

771

2024.03.05

golang是免费的吗
golang是免费的吗

golang是免费的。golang是google开发的一种静态强类型、编译型、并发型,并具有垃圾回收功能的开源编程语言,采用bsd开源协议。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

1706

2024.05.21

golang结构体相关大全
golang结构体相关大全

本专题整合了golang结构体相关大全,想了解更多内容,请阅读专题下面的文章。

4794

2025.06.09

golang相关判断方法
golang相关判断方法

本专题整合了golang相关判断方法,想了解更详细的相关内容,请阅读下面的文章。

2214

2025.06.10

golang数组使用方法
golang数组使用方法

本专题整合了golang数组用法,想了解更多的相关内容,请阅读专题下面的文章。

4086

2025.06.17

Gradle插件开发入门教程
Gradle插件开发入门教程

本专题介绍Gradle插件开发的基本流程,涵盖插件类编写、自定义任务注册、扩展参数设计和插件应用方法,帮助你理解插件如何组织构建逻辑,减少多个项目之间的重复配置。

0

2026.10.22

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn