Go语言不提供大文件并发安全读写抽象，需显式设计：并发读须独立打开文件句柄并分块读取；并发写仅os.O_APPEND安全，随机写需串行化；任务调度用最小堆优先队列；读写共享状态需精准锁粒度；系统资源限制是实际瓶颈。
Go 语言本身不提供对单个大文件的并发安全读写抽象——*os.File 不是并发安全的，多个 goroutine 直接共享一个句柄读写必然错乱；所谓“并发安全”，必须靠显式设计：读写分离、句柄隔离、锁控制或原子追加。没有银弹，只有按场景选对策略。
并发读大文件：每个 goroutine 必须独立打开文件
共享 *os.File 句柄并发读会因内核文件偏移量（offset）竞争导致跳读、重复读、空内容甚至 bad file descriptor panic。这不是概率问题，是确定性错误。
- 每个 goroutine 调用
os.Open或os.OpenFile获取自己的句柄，处理完立即Close() - 不要试图复用句柄 +
file.Seek()来分块读——除非你用sync.Mutex严格保护每次Seek()+Read()组合，否则依然竞态 - 对超大文件（>1GB），避免一次性
os.ReadFile，改用bufio.Scanner或io.ReadFull分块读，防止内存爆涨 - 用带缓冲 channel（如
sem := make(chan struct{}, 5)）控制最大并发数，防too many open files
并发写同一文件：只信任 os.O_APPEND 或外部串行化
多个 goroutine 直接向同一 *os.File 调用 Write()，即使文件以 os.O_WRONLY 打开，也会因 write() 系统调用非原子性导致内容交错、覆盖或截断。
- 唯一内核级保证安全的并发写方案：打开时指定
os.O_APPEND标志，此时每次Write()前内核自动lseek(2)到 EOF，再写入——顺序由内核保障 - 若需写入任意位置（如更新二进制头、随机块），必须串行化：用
chan Task把写任务发给单个 writer goroutine，或用sync.Mutex包裹file.WriteAt() - 禁用“多个 goroutine 各自
os.OpenFile(..., os.O_WRONLY)再写”——这会相互覆盖，不是追加
带优先级的大文件任务调度：不能靠 select 多 channel
用 highChan, mediumChan, lowChan 配合 select 实现“高优先取”是常见误解：select 对多个可读 channel 是伪随机选择，不保序；低优任务持续涌入时，高优任务可能永远卡在 channel 缓冲区尾部。
Go 配置库，使用 spf13/viper — 分层优先级（flag > env >file > KV > default），提供 BindPFlag/BindPFlags、SetEnvPrefix + SetEnvKeyReplace 等功能。
立即学习“go语言免费学习笔记（深入）”；
- 真正可控的做法：用
container/heap构建最小堆优先队列，Task.Priority越小越先执行 -
Task结构体只存路径和元信息（如FilePath string,Priority int8），别塞文件内容，避免 heap 内存暴涨 - 插入任务用
heap.Push(&pq, task)，worker 取任务用heap.Pop(&pq).(Task) - 若需动态调权，必须先
heap.Remove再heap.Push，不可直接改task.Priority
混合读写或共享状态：锁粒度要精准
当多个 goroutine 既要读文件又要更新某个全局统计（如总行数、校验和），或共用一个结果 map，锁用错就白忙活。
- 读多写少场景（如日志解析后汇总），用
sync.RWMutex：读操作用RLOCK()/RUnlock()，写操作用Lock()/Unlock() - 每个文件对应独立锁实例，别用全局
var mu sync.Mutex—— 否则不同文件任务互相阻塞 - map 读写必须同步：原生
map并发读写必 panic；sync.Map仅适合键生命周期长、读远多于写的缓存场景；一般业务推荐sync.RWMutex封装原生map - 配置热更新等强一致性场景，别用
sync.RWMutex保护指针——要用atomic.StorePointer原子切换不可变结构体指针，否则可能读到半更新脏数据
最易被忽略的一点：大文件 I/O 的瓶颈常不在 Go 代码逻辑，而在系统级资源（fd 数量、磁盘吞吐、page cache 压力）。上线前务必用 ulimit -n 检查并调高文件描述符限制，并通过 iostat 或 pidstat -d 观察真实 I/O 行为——代码写得再“并发安全”，扛不住底层 IO 卡死。
