os.ReadFile仅适用于小文件（≤5MB）场景，如读取配置文件、JSON模板等；因其内部一次性全量加载文件到内存，读取大文件会直接触发OOM或系统kill，无法流式处理、中断或跳过内容。
os.ReadFile 适合什么场景，为什么不能用在大文件上
os.ReadFile 是 Go 1.16+ 引入的便捷函数，内部自动调用 os.Open → io.ReadAll → file.Close，省去手动管理资源的步骤。但它会把整个文件一次性加载进内存，所以只适用于确定大小可控的小文件（比如配置文件、JSON 模板、短日志片段）。
常见错误现象：读取几百 MB 或 GB 级文件时，程序直接 OOM（内存耗尽），或触发系统 kill（Linux 的 oom_killer）。Go 运行时不会报错，而是静默崩溃或卡死。
- 典型安全边界：一般建议
os.ReadFile不超过几 MB（例如 ≤5MB），具体取决于你服务的内存限制和并发量 - 它返回
[]byte，没有缓冲、不支持流式处理、无法中断或跳过部分内容 - 权限和路径错误仍会返回
error，但和内存问题无关——后者是运行时行为，不是 error 可捕获的
bufio.NewReader 读大文件时缓冲区大小怎么设
用 bufio.NewReader 包裹 *os.File 是处理大文件最常用方式，核心在于缓冲区大小——它不是越大越好，也不是越小越稳，而要权衡系统页大小、磁盘 I/O 特性与 GC 压力。
默认缓冲区是 4096 字节（一页），但对现代 SSD 和顺序读取来说太小；盲目设成 1MB 以上反而可能增加 GC 频率，尤其在高并发小文件混合场景下。
立即学习“go语言免费学习笔记（深入）”；
Go 配置库，使用 spf13/viper — 分层优先级（flag > env >file > KV > default），提供 BindPFlag/BindPFlags、SetEnvPrefix + SetEnvKeyReplace 等功能。
- 推荐值：64KB（
64 * 1024）是多数场景的平衡点，兼顾吞吐与内存占用 - 如果已知文件行平均长度（如日志每行 ~200B），可设为行长的 10–20 倍，避免频繁 realloc
- 绝对不要用
make([]byte, 0, huge)预分配超大 slice 传给Read——bufio.Reader自己管理缓冲，外部传入的 slice 仅用于Read调用，不影响其内部 buffer
io.Copy 和手动 Read/Write 循环的区别在哪
io.Copy 不是简单封装循环，它做了关键优化：内部使用固定 32KB 缓冲区，并针对不同 Reader/Writer 类型做分支判断（例如检测是否实现 io.ReaderFrom 或 io.WriterTo），能直接触发底层零拷贝路径（如 net.Conn 到 os.File）。
手动写 for { n, err := r.Read(buf); ... w.Write(buf[:n]) } 容易漏掉细节，导致性能断层或逻辑错误。
-
io.Copy自动处理io.EOF，返回实际复制字节数，且保证原子性（不会因中途 error 少写部分数据） - 手动循环必须显式检查
err == io.EOF才 break，否则可能多读一次空数据或 panic - 如果目标
Writer是网络连接或管道，io.Copy可能比手动快 2–5 倍，因跳过中间内存拷贝 - 注意：
io.Copy不支持进度回调或中断，如需实时监控，得自己实现带 hook 的循环
追加写文件为什么一定要用 os.O_APPEND，而不是先 Seek 再 Write
用 os.OpenFile(name, os.O_WRONLY|os.O_CREATE, 0644) 打开文件后，调 file.Seek(0, io.SeekEnd) 再 file.Write，看似等价，实则危险——在多进程/多 goroutine 场景下，Seek + Write 不是原子操作，两个写入可能相互覆盖。
os.O_APPEND 是操作系统级保障：每次 Write 前内核自动 lseek 到当前文件末尾，再写入，全程原子。
- 即使多个进程同时向同一文件追加，也不会出现数据错位或截断
- 不用手动
Seek，也避免了Seek返回值未检查导致的隐性 bug - 注意：
os.O_APPEND与os.O_TRUNC互斥，同时设置会出错；也不能和os.O_RDWR混用除非你真需要读+追加
真正容易被忽略的是：哪怕单 goroutine 场景，如果文件被其他进程（比如 logrotate）重命名或清空，Seek + Write 会写到旧 inode，而 os.O_APPEND 始终写入当前打开的文件描述符所指向的位置——这是语义差异，不是性能问题。
