os.Open + goroutine 直接并发读文件会出问题，因多个goroutine共享同一文件偏移量和文件描述符，导致读取错乱、重复、跳过或io.EOF；正确做法是独立打开文件或加锁重置偏移。
为什么 os.Open + goroutine 直接并发读文件会出问题
不是所有文件操作都适合裸奔式并发。比如用 os.Open 打开同一个文件，再在多个 goroutine 中调用 Read，实际共享的是同一个文件偏移量（file.Seek 位置），导致读取内容错乱、重复或跳过。操作系统层面的文件描述符是共享的，Go 的 *os.File 并非线程安全的读写载体。
常见错误现象：io.EOF 提前出现、读到空内容、部分 goroutine 阻塞在 Read、日志显示“read /path/to/file: bad file descriptor”。
- 正确做法：每个并发任务应独立打开文件（
os.Open每次返回新文件句柄），或提前将文件内容整体读入内存（适用于小文件） - 若必须复用句柄，需配合
file.Seek(0, io.SeekStart)重置偏移，并加sync.Mutex保护 —— 但这就失去了并发读的意义 - 大文件慎用“全量读入”，避免
OOM；可用bufio.NewReader分块读 +sync.Pool复用缓冲区
用 sync.WaitGroup + chan 控制并发数，防止 goroutine 泛滥
直接对数百个文件起 go processFile(...)，极易耗尽系统资源（文件描述符、内存、调度开销）。Golang 不会自动限流，必须显式控制并发度。
使用场景：批量处理日志目录下的 1000 个 .log 文件，但只允许最多 10 个并发执行。
使用 uber-go/dig 在 Golang 中实现依赖注入——基于反射容器，提供 Provide/Invoke、dig.In/dig.Out 参数与结果对象，支持命名依赖等
立即学习“go语言免费学习笔记（深入）”；
- 用带缓冲的
chan struct{}作为信号量：容量即最大并发数，make(chan struct{}, 10) - 每个
goroutine启动前先sem ，退出时 <code><-sem归还配额 -
sync.WaitGroup仅用于等待全部任务结束，不承担限流职责 —— 混用易导致死锁 - 避免在循环内直接启动 goroutine 而不控制：如
for _, f := range files { go work(f) }是危险模式
io.Copy 和 io.CopyBuffer 在并发写文件时的注意事项
多个 goroutine 向同一个输出文件写入（如汇总日志），若直接用 os.OpenFile(..., os.O_WRONLY|os.O_APPEND) + io.Copy，看似用了 O_APPEND，仍可能因内核 write 原子性边界（通常 4KB）导致内容交叉（例如两段 JSON 行被截断混在一起）。
- 安全做法：每个 goroutine 写独立临时文件（
filepath.Join(tmpDir, fmt.Sprintf("part_%d.tmp", i))），最后由主 goroutine 合并 - 若必须追加写，改用
syscall.Write+syscall.SEEK_END（Linux/macOS），但跨平台差，且无法保证结构化数据完整性 -
io.CopyBuffer可复用缓冲区减少 GC 压力，但缓冲区必须按 goroutine 隔离（不能全局共用[]byte） - 写失败时，
os.Remove临时文件要加defer或确保清理，否则磁盘被占满
用 context.Context 实现超时与取消，避免 goroutine 泄漏
文件处理可能卡在慢 I/O（NFS、挂起的 FUSE）、正则匹配爆炸、解压恶意 zip 等场景。没有上下文控制的并发任务一旦阻塞，就会永久占用 goroutine 和资源。
- 为每个文件处理传入
ctx：如processFile(ctx, path)，并在关键阻塞点检查ctx.Err() - 读文件时，用
io.LimitReader限制单个文件最大读取字节数（防超大文件耗尽内存） - 压缩/解压类操作（
archive/tar,compress/gzip）内部不响应 context，需在外层封装定时器或用runtime.SetMutexProfileFraction辅助诊断 - 不要在 goroutine 内部忽略
ctx.Done()—— 即使只差最后一行，也该立即返回，由WaitGroup正确计数
真正难处理的是那些底层 syscall 不支持中断的操作（比如某些文件系统驱动的 read），这时候只能靠进程级超时（os/exec.CommandContext）或预估时间+主动 close 文件句柄来缓解。
