直接并发写文件会出问题,因为多个goroutine调用os.WriteFile或反复OpenFile+Write时,操作系统不保证文件偏移量、缓冲刷新及write()系统调用的跨goroutine原子性,导致覆盖、截断或字节错乱。

为什么直接并发写文件会出问题
多个 goroutine 同时调用 os.WriteFile 或反复 os.OpenFile + Write 写同一个文件,会导致内容覆盖、截断或字节错乱。这不是 Go 特有现象,而是操作系统层面的竞态:文件偏移量、缓存刷新、系统调用原子性都不保证跨进程/线程安全。哪怕只写一次,如果多个 goroutine 都执行 os.WriteFile("log.txt", data, 0644),后写的会直接覆盖前写的。
用 sync.Mutex 包裹写操作是最简方案
互斥锁不解决 IO 并发本身,而是确保「同一时间只有一个 goroutine 在执行写逻辑」。关键点是锁的粒度和生命周期:
- 锁变量必须是全局或长期存活的(比如定义在包级或结构体字段里),不能每次写都 new 一个
sync.Mutex - 锁范围要严格包裹「打开→写入→关闭」全过程,不能只锁
Write调用而漏掉OpenFile - 务必检查
err,尤其os.OpenFile失败时也要释放锁(用defer mu.Unlock()在函数开头就 defer 更稳妥)
示例:
var fileMu sync.Mutex
func writeLog(msg string) error {
fileMu.Lock()
defer fileMu.Unlock()
f, err := os.OpenFile("app.log", os.O_APPEND|os.O_CREATE|os.O_WRONLY, 0644)
if err != nil {
return err
}
defer f.Close()
_, err = f.WriteString(fmt.Sprintf("[%s] %s\n", time.Now().Format(time.DateTime), msg))
return err
}
避免锁住整个文件写路径的常见替代方案
如果写操作频繁且耗时(比如写大文件、网络 IO 后落盘),死守一个 sync.Mutex 会成为性能瓶颈。这时可考虑:
立即学习“go语言免费学习笔记(深入)”;
- 用
chan []byte做写请求队列,单个 goroutine 消费并批量刷盘——适合日志类场景 - 按业务维度分片加锁,例如每个用户 ID 对应独立锁:
muMap[userID] = &sync.Mutex{},再用sync.Map管理(注意 key 生命周期) - 改用支持原子追加的系统调用,如 Linux 下
os.O_APPEND本身对单次Write是原子的,但前提是所有写入都用相同 flag 打开文件且不 seek
注意:os.O_APPEND 不等于线程安全——它只保证单次 Write 不被截断,若多个 goroutine 同时调用 Write,仍可能因内核缓冲区竞争导致行交错(比如两行日志挤在同一行)。
写文件时忘记关闭或 panic 导致锁未释放怎么办
defer mu.Unlock() 必须放在加锁之后立刻执行,且不能被条件分支跳过。更稳妥的写法是把锁逻辑封装进带 defer 的匿名函数:
func writeLog(msg string) error {
var err error
mu.Lock()
defer func() {
if r := recover(); r != nil {
// 日志记录 panic,但不要在这里重抛
log.Printf("panic during writeLog: %v", r)
}
mu.Unlock()
}()
f, err := os.OpenFile("app.log", os.O_APPEND|os.O_CREATE|os.O_WRONLY, 0644)
if err != nil {
return err
}
defer f.Close()
_, err = f.WriteString(msg)
return err
}
实际项目中,更推荐用 sync.RWMutex 或封装成带上下文取消的写入器——但核心原则不变:锁的边界必须严丝合缝对应资源访问周期,而文件句柄的生命周期和锁的持有期必须对齐。稍有错位,就会出现 goroutine 永久阻塞或静默丢数据。


















