Go语言文本去重性能优化：从17秒到飞速提升
本文针对一个Go语言文本去重程序进行性能分析和优化。该程序处理约75万行文本，初始去重耗时17秒，我们将通过改进代码，显著提升其效率。
原始代码使用map[string]bool存储去重结果，并通过字符串拼接累积去重后的文本。测试结果显示耗时17.654秒。代码如下：
package distinct
import (
"bufio"
"fmt"
"io"
"os"
"strings"
)
//DistinctFile 为指定文件去重
func DistinctFile(file string, output string) {
// 读取需要去重的文件内容
f, _ := os.Open(file)
defer func() {
ferr := f.Close()
if ferr != nil {
fmt.Println(ferr.Error())
}
}()
reader := bufio.NewReader(f)
// 去重map
var set = make(map[string]bool, 0)
// 去重后的结果
var result string
for {
line, isPrefix, err := reader.ReadLine()
if err != nil {
break
}
if !isPrefix {
lineStr := string(line)
if set[lineStr] {
continue
}
result += fmt.Sprintf("%s\n", lineStr)
set[lineStr] = true
}
}
// 写入另一个文件
nf, _ := os.Create(output)
io.Copy(nf, strings.NewReader(result))
defer nf.Close()
}
性能瓶颈及优化方案：
该程序的性能瓶颈主要在于两点：
立即学习“go语言免费学习笔记（深入）”；
-
字符串拼接:
var result string方式的字符串拼接效率低下，每次拼接都会重新分配内存。 -
map初始化:
var set = make(map[string]bool, 0)没有预分配空间，导致频繁哈希表扩容。
针对以上问题，我们提出以下优化方案：
-
使用
strings.Builder: 用strings.Builder替代字符串拼接，避免频繁内存分配，显著提升效率。 -
预分配map空间: 将
var set = make(map[string]bool, 0)改为var set = make(map[string]struct{}, 750000)，预分配足够的空间，减少哈希表扩容次数。使用struct{}代替bool作为map的值，可以节省少量内存。
通过以上优化，可以大幅提升文本去重效率。 建议根据实际文本大小调整map的预分配空间大小。
