不能只靠os.Open+io.Copy，因io.Copy无超时机制，底层阻塞会导致goroutine假死和fd泄漏；普通文件不支持SetReadDeadline；应使用context.WithTimeout包裹流程，并在循环读写中主动检查ctx.Err()。
大文件读写时为什么不能只靠 os.Open + io.Copy？
因为 io.Copy 本身不设超时，一旦底层连接卡住（比如 NFS 挂起、网络存储抖动、磁盘 I/O 阻塞），整个 goroutine 就会无限等待。你看到的不是“慢”，而是“假死”——没有错误返回，也没有进度推进。
更糟的是，os.Open 成功后若后续读写阻塞，defer file.Close() 也永远不会执行，导致 fd 泄漏。
- 必须对每个实际 I/O 操作（
Read、Write）设置 deadline，不能只依赖os.Open的返回值 -
os.File实现了net.Conn接口的SetReadDeadline和SetWriteDeadline方法，但仅在文件是通过net.Listener或syscall打开的 socket 类型时才生效；普通磁盘文件调用会 panic —— 所以别对本地文件硬套SetReadDeadline - 真正可行的方式：用
context.WithTimeout包裹整个读写流程，并在循环中主动检查ctx.Err()
怎么给 io.Copy 加超时而不改写逻辑？
直接给 io.Copy 加超时做不到，但它接受 io.Reader 和 io.Writer 接口。你可以把源或目标包装成带超时控制的 wrapper。
推荐做法：用 io.LimitReader + context 控制总耗时，再配合分块读取手动插入 deadline 检查：
立即学习“go语言免费学习笔记（深入）”；
Golang Uber Dig
下载
使用 uber-go/dig 在 Golang 中实现依赖注入——基于反射容器，提供 Provide/Invoke、dig.In/dig.Out 参数与结果对象，支持命名依赖等
buf := make([]byte, 64*1024)
for {
select {
case <-ctx.Done():
return ctx.Err()
default:
}
n, err := src.Read(buf[:])
if n > 0 {
_, writeErr := dst.Write(buf[:n])
if writeErr != nil {
return writeErr
}
}
if err == io.EOF {
break
}
if err != nil {
return err
}
}
- 每次
Read后立即检查ctx.Err()，避免单次阻塞拖垮整条链路 - 不要用
time.Sleep等待重试间隔——它不响应 cancel；改用select { case - 对 NFS 或 SMB 挂载点，
Read可能返回syscall.ESTALE或syscall.ETIMEDOUT，要用errors.Is(err, syscall.ETIMEDOUT)判断，而非字符串匹配
哪些错误值得重试？哪些必须立刻放弃？
重试不是万能解药。对大文件 IO，重试只适用于「可能随时间自动恢复」的瞬态错误。
值得重试的错误：
-
syscall.EAGAIN、syscall.EWOULDBLOCK（常见于非阻塞文件描述符，但本地磁盘少见） -
syscall.ENETUNREACH、syscall.ETIMEDOUT（网络文件系统场景） -
syscall.EBUSY（如 ext4 在 journal replay 期间）
绝对不重试的错误：
-
os.ErrNotExist、os.ErrPermission—— 用errors.Is(err, os.ErrNotExist)判断，别用== -
syscall.ENOSPC（磁盘满）—— 重试只会更快填满日志 -
syscall.EISDIR、syscall.ENOTDIR（路径类型错） -
io.ErrUnexpectedEOF—— 表示读到一半文件被截断，不是临时问题
并发读大文件时，超时和重试怎么跟 goroutine 绑定？
每个 goroutine 必须有自己的 context.Context，且超时独立。复用同一个 context 会导致：第一次超时后所有后续 goroutine 立即失败。
典型结构：
for i, path := range paths {
go func(p string, idx int) {
ctx, cancel := context.WithTimeout(parentCtx, 30*time.Second)
defer cancel()
f, err := os.Open(p)
if err != nil {
log.Printf("open %s failed: %v", p, err)
return
}
defer f.Close()
// 分块读 + 检查 ctx.Err()
...
}(path, i)
}
- 不要把
ctx提前传进 goroutine —— 它可能已过期；必须在 goroutine 内部创建新ctx - 如果用了
sync.WaitGroup，cancel()必须在 goroutine 退出前调用，否则可能泄漏 goroutine - HTTP 客户端上传大文件时，
client.Timeout会覆盖context超时，务必设为0，完全依赖 context 控制
