Go语言优化文件读写需减少系统调用、避免频繁内存分配并利用I/O并发：用bufio.Reader/Writer替代os.Read/Write，Scanner适合按行读取，写入时显式设置大缓冲并调用Flush。
Go语言中优化文件读写，核心是减少系统调用次数、避免频繁内存分配，并合理利用I/O并发能力。单纯用os.Read或os.Write逐字节操作效率极低；而结合bufio缓冲和异步（goroutine + channel）处理，能显著提升吞吐量，尤其在处理大文件或高频率日志写入场景下效果明显。
用bufio.Reader/Writer替代基础I/O，降低系统调用开销
bufio通过内部缓冲区（默认4KB）批量读写，大幅减少read()/write()系统调用次数。对小文件可能感知不强，但对GB级日志或CSV解析，性能差异可达数倍。
- 读取时优先用
bufio.Scanner（适合按行处理），它比bufio.Reader.ReadString('\n')更轻量且自动处理缓冲边界 - 写入时用
bufio.NewWriterSize(f, 64*1024)显式设置较大缓冲（如64KB），避免小数据频繁刷盘；记得调用w.Flush()确保内容落盘 - 注意：Scanner默认单行上限64KB，超长行会报错；可调用
scanner.Buffer(make([]byte, 64*1024), 1扩大容量
用goroutine分阶段解耦读、处理、写，避免阻塞
当读取后需做解析、转换、校验等CPU密集型操作时，把“读→处理→写”串行链路拆成并行流水线，能掩盖I/O延迟并压满CPU。关键不是盲目起大量goroutine，而是控制协程数量+使用channel背压。
Knowledge Graph - Csv Graph Loader Generator
下载
从 CSV 数据集生成图数据库加载器和三元组映射。将表格 CSV 数据转换为图数据库可直接使用的节点、边和三元组。
- 示例结构：一个goroutine持续读文件 → 发送行数据到
chan string；N个worker goroutine从channel取数据处理 → 发送结果到chan []byte；一个writer goroutine聚合结果并批量写入 - 用带缓冲的channel（如
make(chan string, 1000)）缓解生产者/消费者速度差，防止内存暴涨 - 务必用
sync.WaitGroup等待所有worker完成，并关闭下游channel，避免writer永久阻塞
针对大文件写入：预分配+复用[]byte+避免字符串拼接
高频写入（如日志服务）中，反复fmt.Sprintf或string + string会触发大量内存分配和GC压力。应尽量复用内存、直接写二进制。
立即学习“go语言免费学习笔记（深入）”；
- 用
bytes.Buffer或预分配[]byte拼接内容，调用w.Write(buf.Bytes())而非w.WriteString(fmt.Sprintf(...)) - 时间戳等固定格式字段，提前生成模板（如
time.Now().Format("2006-01-02 15:04:05")），避免每次格式化 - 若写JSON日志，用
json.Encoder直接编码到bufio.Writer，比json.Marshal再写更省内存
注意同步与持久化边界：别让优化破坏数据可靠性
异步+缓冲提升性能的同时，也增加了数据丢失风险。需明确业务对“不丢数据”的要求等级，并做对应保障。
- 普通日志：定期
Flush()（如每1000条或每秒）+ 关闭前Flush()即可 - 关键数据（如交易记录）：写入后调用
f.Sync()强制刷盘（代价高，慎用），或改用支持事务的日志库（如segmentio/kafka-go或WAL机制） - 不要依赖defer f.Close()来保证Flush——它只关文件描述符，缓冲区内容可能未写出；应在逻辑出口显式Flush
