使用bufio.Scanner逐行读取文本大文件，避免内存溢出；2. 对二进制或超大文件采用bufio.Reader分块读取；3. 避免ioutil.ReadAll加载整个文件；4. 合理设置缓冲区大小并结合异步处理优化性能。
处理大文件时，不能直接将整个文件加载到内存中，否则容易导致内存溢出。在 Golang 中，有多种方式可以高效地读取大文件内容，同时控制内存使用并提升性能。以下是几种常见的实践方法和优化建议。
使用 bufio.Scanner 逐行读取
当大文件是文本格式（如日志、CSV 等）且需要按行处理时，bufio.Scanner 是最常用的方式。它通过缓冲机制减少系统调用，适合处理每行数据不大的场景。
示例代码：
file, err := os.Open("largefile.txt")
if err != nil {
log.Fatal(err)
}
defer file.Close()
scanner := bufio.NewScanner(file)
for scanner.Scan() {
line := scanner.Text()
// 处理每一行
processLine(line)
}
if err := scanner.Err(); err != nil {
log.Fatal(err)
}
注意：默认情况下，Scanner 每次最多读取 64KB，若某行超过此长度会报错。可通过 scanner.Buffer() 扩大缓冲区。
立即学习“go语言免费学习笔记（深入）”；
使用 bufio.Reader 分块读取
对于超大文件或二进制文件，推荐使用 bufio.Reader 配合固定大小的缓冲区进行分块读取，避免内存压力。
示例代码：
file, err := os.Open("hugefile.bin")
if err != nil {
log.Fatal(err)
}
defer file.Close()
reader := bufio.NewReader(file)
buffer := make([]byte, 32*1024) // 32KB 缓冲区
for {
n, err := reader.Read(buffer)
if n > 0 {
// 处理 buffer[0:n]
processData(buffer[:n])
}
if err == io.EOF {
break
}
if err != nil {
log.Fatal(err)
}
}
这种方式适用于任意类型的文件，控制好缓冲区大小可在性能和内存之间取得平衡。
使用 ioutil.ReadAll 的注意事项
虽然 ioutil.ReadAll 使用方便，但它会将整个文件一次性读入内存，只适合小文件。
例如：
data, err := ioutil.ReadFile("small.txt")
if err != nil {
log.Fatal(err)
}
// data 是整个文件内容
对大文件使用此方法极易引发 OOM（内存溢出），应避免。
优化建议与最佳实践
为了在读取大文件时兼顾性能与稳定性，可参考以下几点：
- 选择合适的缓冲区大小：通常 32KB 到 1MB 之间较合理，太小会增加系统调用次数，太大则浪费内存。
- 及时处理数据：边读边处理，避免缓存过多中间结果。
- 使用 goroutine 异步处理：读取和处理解耦，提升吞吐量，但需注意并发安全。
- 监控文件读取速度和资源消耗：便于定位瓶颈。
- 考虑 mmap 在特定场景下的使用：对于随机访问频繁的大文件，mmap 可能更高效，但实现复杂且平台依赖性强。
基本上就这些。根据文件类型和处理需求选择合适的方法，就能在 Golang 中安全高效地读取大文件。关键在于避免一次性加载，合理利用缓冲和流式处理。
