文件内容为空是因闭包复用循环变量,所有goroutine共享最后一次迭代值;应显式传参或拷贝变量;并发过多还会导致429错误或超时,需用带缓冲channel限流。

goroutine 启动下载任务时,为什么文件内容全为空?
常见现象是:用 go downloadFile(url, filename) 启动多个 goroutine,但生成的文件大小为 0 或不完整。根本原因是闭包变量复用——循环中 url 和 filename 是同一个变量地址,所有 goroutine 实际共享最后一次迭代的值。
正确做法是把循环变量显式传入 goroutine:
for _, task := range tasks {
url, filename := task.URL, task.Filename // 拷贝到局部变量
go func(u, f string) {
downloadFile(u, f)
}(url, filename)
}或者直接在 goroutine 参数列表里接收(更简洁):
for _, task := range tasks {
go func(url, filename string) {
downloadFile(url, filename)
}(task.URL, task.Filename)
}并发控制不当导致连接被拒绝或超时
不加限制地启动数百个 goroutine 发起 HTTP 请求,会迅速耗尽本地端口、触发目标服务器限流(返回 429 Too Many Requests),甚至因 DNS 解析失败或 net/http: request canceled (Client.Timeout exceeded) 而中断。
立即学习“go语言免费学习笔记(深入)”;
必须使用带缓冲的 channel 或 semaphore 控制并发数:
- 用
make(chan struct{}, 5)做信号量:每次下载前sem ,完成后 <code> - 用
sync.WaitGroup等待全部完成,避免主 goroutine 提前退出 - HTTP client 应设置超时:
http.Client{Timeout: 30 * time.Second},否则单个卡死会拖垮整个批次
downloadFile 函数没处理重定向和错误,导致静默失败
Go 的 http.Get 默认跟随重定向,但若目标返回 302 后跳转到权限页(如登录页),你下载到的就不是预期二进制内容,而是一段 HTML。更糟的是,如果忽略 resp.Body.Close(),连接不会释放,很快 hit too many open files 错误。
一个健壮的下载函数至少要检查:
-
resp.StatusCode是否在200–299范围内 - 用
io.Copy流式写入,避免内存爆掉(尤其大文件) - 确保
defer resp.Body.Close()在if err != nil分支之后也执行(建议统一 defer)
示例关键片段:
resp, err := client.Get(url)
if err != nil {
log.Printf("GET %s failed: %v", url, err)
return
}
defer resp.Body.Close() // 即使 status 不对也要关
<p>if resp.StatusCode < 200 || resp.StatusCode >= 300 {
log.Printf("HTTP %d for %s", resp.StatusCode, url)
return
}</p><p>out, err := os.Create(filename)
if err != nil {
log.Printf("Create %s failed: %v", filename, err)
return
}
defer out.Close()</p><p>_, err = io.Copy(out, resp.Body) // 流式写入
if err != nil {
log.Printf("Write %s failed: %v", filename, err)
}如何安全地取消正在运行的下载任务?
用户按 Ctrl+C 或界面点击“停止”时,不能粗暴 kill 进程,得让正在跑的 goroutine 主动退出。核心是传递 context.Context 到每个下载函数,并在 I/O 调用中使用它。
关键点:
- 创建可取消 context:
ctx, cancel := context.WithCancel(context.Background()) - HTTP client 必须用
client.Do(req.WithContext(ctx)),而不是client.Get(后者不支持 cancel) - 每次
io.Copy无法直接响应 cancel,但resp.Body.Read会返回context.Canceled错误,所以需手动分块读取 + 检查ctx.Err() - 调用
cancel()后,所有关联的 goroutine 应尽快清理并返回
真正落地时,io.Copy 不感知 context,推荐改用 io.CopyN 或封装带 context 的读取逻辑——这点容易被跳过,结果 cancel 变成“假取消”。


















