使用缓冲、并发控制和mmap优化可显著提升Golang文件I/O性能。1. 通过bufio.Reader/Writer减少系统调用，提升读写吞吐量；2. 合理设置缓冲区大小（如32KB~64KB）以匹配I/O模式；3. 对超大文件且需频繁随机访问时，使用mmap避免数据拷贝；4. 利用goroutine并发处理多文件操作，结合信号量控制并发数防止资源耗尽。
在高并发或大数据处理场景中，文件 I/O 性能直接影响程序整体效率。Golang 提供了丰富的标准库支持，但若不加优化，容易成为性能瓶颈。通过合理使用缓冲、并发控制和系统调用优化，可以显著提升文件读写性能。
使用 bufio 进行缓冲读写
直接调用 os.File.Read 和 Write 会产生频繁的系统调用，降低效率。引入 bufio 包可减少系统调用次数，提升吞吐量。
对于大文件读取，使用 bufio.Reader 按块读取更高效：
reader := bufio.NewReader(file)buffer := make([]byte, 4096)
for {
n, err := reader.Read(buffer)
if n > 0 {
// 处理数据
}
if err == io.EOF { break }
}
写入时使用 bufio.Writer 能有效合并小写操作：
立即学习“go语言免费学习笔记（深入）”；
writer := bufio.NewWriter(outputFile)defer writer.Flush() // 确保缓存写入磁盘
for _, data := range dataList {
writer.Write(data)
}
适当调整缓冲区大小（如 32KB 或 64KB）可进一步匹配实际 I/O 模式。
利用 mmap 减少内存拷贝（仅限特定场景）
在读取超大文件且随机访问频繁时，可考虑使用内存映射 mmap，避免多次 read/write 的数据拷贝开销。Go 可通过第三方包如 golang.org/x/exp/mmap 实现。
示例：
if err != nil { panic(err) }
defer rd.Close()
// 直接像切片一样访问内容
data := rd.At(0, 100) // 获取前100字节
注意：mmap 不适用于频繁写入或内存受限环境，且需小心处理跨平台兼容性。
并发读写与 goroutine 控制
对于多个独立文件的操作，可使用 goroutine 并发处理，但需限制并发数防止资源耗尽。
使用带缓冲的 worker 池模式：
sem := make(chan struct{}, 10) // 最多10个并发var wg sync.WaitGroup
for _, filename := range files {
wg.Add(1)
go func(name string) {
sem processFile(name)
wg.Done()
}(filename)
}
wg.Wait()
对单个大文件，可按块划分并行处理，但需确保顺序写入时使用锁或 channel 协调。
选择合适的打开模式与系统参数
打开文件时添加合适标志有助于性能优化：
- 只读大文件时使用 syscall.O_DIRECT（需对齐）绕过页缓存，适合自管理缓存场景
- 频繁追加写入使用 os.O_APPEND，保证原子性
- 预分配空间避免文件碎片：f.Truncate(size)
同时关注操作系统层面设置，如增大脏页回写间隔、使用 SSD 优化调度器等。
基本上就这些。关键是根据实际负载选择合适策略：小文件批量处理优先用 bufio，大文件考虑分块或 mmap，多文件任务启用受控并发。不复杂但容易忽略细节。
