不需要。os.WriteFile 会先清空再写入，若中途崩溃会导致原文件被截断丢失；其原子性仅指“新文件写完后才通过 rename 替换”，而非全程保护旧文件；安全做法是先写临时文件再 os.Rename。
用 os.WriteFile 覆盖写入前必须清空旧内容吗？
不需要。但直接覆盖有风险：如果写入中途 panic 或磁盘满，原文件可能被截断成半成品，且无回退机制。os.WriteFile 是原子替换操作（底层调用 rename），但它只保证“新内容完整写入后才替换”，不保证“旧文件在替换前未被破坏”。真正安全的做法是先写临时文件，再 os.Rename。
为什么 os.OpenFile(..., os.O_APPEND) 会导致重复？
因为 O_APPEND 只保证每次 Write 追加到文件末尾，但不校验内容是否已存在。常见误用场景：
- 程序重启后重新处理同一批数据，又打开文件追加一遍
- 多个 goroutine 并发打开同一文件并
Write，即使加了O_APPEND，仍可能因调度导致逻辑重复（如两次读取同一行后各自追加） -
bufio.Writer未Flush就退出，缓存内容丢失，下次又重写
如何在写入前判断某行是否已存在？
对小文件（os.ReadFile 读入内存，构建 map[string]struct{} 做快速查重；对大文件，别逐行扫描——性能太差。更实用的方案是：
- 写入前生成唯一标识（如
sha256.Sum256([]byte(line))），维护一个轻量级去重缓存（如sync.Map或本地map[string]struct{}） - 若需跨进程/重启去重，改用外部存储：Redis 的
SETNX+ TTL，或数据库唯一索引 +INSERT IGNORE - 避免“边写边查”：把待写数据先去重、排序、合并，再批量写入
临时文件 + os.Rename 的正确姿势
这是生产环境最稳妥的覆盖写入方式，关键点在于权限继承和原子性：
立即学习“go语言免费学习笔记（深入）”；
- 临时文件名建议用
filepath.Join(dir, base+".tmp."+strconv.FormatInt(time.Now().UnixNano(), 36))避免冲突 - 写完后调用
os.Chmod(tmpPath, fi.Mode())复制原文件权限（fi, _ := os.Stat(origPath)） - 最后用
os.Rename(tmpPath, origPath)—— 在同一文件系统下是原子操作；若跨分区，需 fallback 到io.Copy+os.Remove，此时需加锁
真正容易被忽略的是：临时文件写入失败时，必须主动 os.Remove(tmpPath)，否则磁盘会被残留文件悄悄占满。
