使用 bufio 减少系统调用，mmap 优化大文件访问，批量读写预分配空间，并通过 worker pool 控制并发，结合 sync.Pool 复用缓冲区，提升 Golang 文件 I/O 性能。
文件I/O操作在很多Golang应用中都是性能瓶颈，尤其是在处理大文件或高并发读写时。通过合理使用语言特性和系统调用，可以显著提升效率。核心优化方向包括减少系统调用次数、利用缓冲机制、合理控制并发粒度以及选择合适的读写方式。
使用 bufio 提供的缓冲机制
标准库中的 bufio.Reader 和 bufio.Writer 能有效减少系统调用次数，特别适合处理小块数据频繁读写的情况。
- 使用bufio.NewReaderSize(file, 32*1024) 设置合适缓冲区大小（如32KB），避免默认过小导致多次 syscall。
- 写入时用 bufio.NewWriter 累积写入，最后调用 Flush() 提交数据，减少磁盘写入频率。
- 对逐行读取的场景，reader.ReadString('\n') 或 ReadLine() 比 io.ReadFull 更高效。
合理使用内存映射（mmap）
对于大文件只读或随机访问场景，内存映射 可绕过内核缓冲区，直接将文件映射到用户空间，降低复制开销。
- 利用第三方库如golang.org/x/exp/mmap 或系统调用 syscall.Mmap 实现。
- 适合读取 GB 级日志、索引文件等，避免一次性加载到内存。
- 注意：写入 mmap 文件需手动调用 Msync 同步，并在结束时 Unmap 释放资源。
批量读写与预分配文件空间
避免单字节或极小块读写，尽量以固定块大小（如64KB）进行批量操作。
Alibabacloud Sdk Client Initialization For Golang
下载
初始化并管理阿里云SDK Go 客户端，涵盖 sync.Once 单例、goroutine 安全、endpoint 与 region 配置、VPC 端点及调试。
立即学习“go语言免费学习笔记（深入）”；
- 使用io.CopyN、io.ReadAtLeast 配合临时缓冲区提升吞吐。
- 写大文件前用 file.Truncate(size) 预分配空间，防止文件系统频繁扩展导致碎片和延迟。
- 对日志类追加写，可启用 O_APPEND 标志确保原子性，避免竞争。
控制并发读写数量
盲目开启大量 goroutine 读写文件反而会加剧磁盘争用，尤其在机械硬盘上表现更差。
- 使用带缓冲的 worker pool 控制并发数，例如 4~8 个协程并行处理文件分片。 - 对同一文件的并发写入应加锁或使用 channel 序列化，防止数据错乱。 - 使用sync.Pool 复用临时缓冲区，减少 GC 压力。
基本上就这些。根据实际场景选择组合策略——小文件用 bufio，大文件读用 mmap，批量处理注意预分配和并发控制。不复杂但容易忽略细节，效果却很明显。
