使用 bufio 和 sync.Pool 可显著提升 Golang 文件 I/O 性能，通过减少系统调用和内存分配优化读写效率。
在 Golang 中，文件 I/O 的性能优化离不开对缓冲机制的合理使用。直接使用 os.File 进行读写虽然简单，但频繁的系统调用会导致性能下降。通过引入缓冲区，可以显著减少系统调用次数，提升文件读写效率。
使用 bufio 提高文件读取性能
bufio 包为文件操作提供了带缓冲的读写器，能有效降低 I/O 次数。例如，在逐行读取大文件时，使用 bufio.Scanner 或 bufio.Reader 能明显优于无缓冲的读取方式。
- Scanner 适合按行、按分隔符读取文本内容，自动处理换行符
- Reader 可自定义缓冲大小，支持更灵活的读取逻辑，如 ReadBytes、ReadString
- 建议设置合适的缓冲区大小（如 32KB 或 64KB），避免过小导致多次填充，过大占用过多内存
示例：使用 bufio 读取大日志文件
file, _ := os.Open("large.log")
defer file.Close()
scanner := bufio.NewScanner(file)
scanner.Buffer(nil, 64*1024) // 设置 64KB 缓冲区
for scanner.Scan() {
processLine(scanner.Text())
}
带缓冲的文件写入优化
频繁写入小块数据会引发大量系统调用。使用 bufio.Writer 可将多个写操作合并，仅在缓冲区满或显式 Flush 时才真正写入磁盘。
Golang Uber Dig
下载
使用 uber-go/dig 在 Golang 中实现依赖注入——基于反射容器，提供 Provide/Invoke、dig.In/dig.Out 参数与结果对象，支持命名依赖等
立即学习“go语言免费学习笔记（深入）”；
- WriteString 和 Write 方法不会立即触发磁盘写入，而是先写入内存缓冲区
- 务必在操作结束时调用 Flush，确保所有数据落盘
- 适用于日志记录、批量导出等场景，可提升写入吞吐量数倍
示例：高效写入结构化数据
file, _ := os.Create("output.txt")
defer file.Close()
writer := bufio.NewWriterSize(file, 32*1024)
for _, record := range records {
writer.WriteString(record + "\n")
}
writer.Flush() // 关键：确保数据写入文件
结合 sync.Pool 减少内存分配
在高并发文件处理场景中，频繁创建缓冲区对象会增加 GC 压力。通过 sync.Pool 复用缓冲区，可降低内存分配开销。
- 将临时使用的 []byte 缓冲区放入 Pool，用完放回
- 特别适合处理多个小文件或网络流转发场景
- 注意清理敏感数据，避免信息泄露
示例：复用读取缓冲区
var bufferPool = sync.Pool{
New: func() interface{} {
return make([]byte, 32*1024)
},
}
func readFileWithPool(path string) ([]byte, error) {
buf := bufferPool.Get().([]byte)
defer bufferPool.Put(buf)
file, _ := os.Open(path)
defer file.Close()
return ioutil.ReadAll(io.LimitReader(file, 1024*1024))
}
基本上就这些。合理使用缓冲不仅能提升文件读写速度，还能降低系统资源消耗。关键是根据实际场景选择缓冲策略，避免过度设计。 
