优化 go 中文本去重代码

您提供的文本去重代码存在一些可优化之处，可以显着提升处理速度。

1. 使用 strings.builder 提升字符串拼接性能

原代码中使用字符串拼接来构建去重结果。这在处理大量数据时效率较低，因为每次拼接都会创建一个新的字符串副本。推荐改用 strings.builder 来高效地构建字符串，避免不必要的内存分配和复制。

优化后代码：

var result strings.builder

2. 预分配map 空间减少扩容

存储去重结果的map 使用了make(map[string ]bool, 0)，相当于预分配了0 个空间。随着数据量的增加，map 需要不断扩容，导致性能下降。推荐预分配一个较大的空间，例如 1000，以减少扩容频率。

优化后代码：

var set = make(map[string]struct{}, 1000)

通过以上优化，您的代码性能将得到显着提升。优化后的代码如下：

package distinct

import (
    "bufio"
    "fmt"
    "io"
    "os"
    "strconv"
    "strings"
)

//DistinctFile 为指定文件去重
func DistinctFile(file string, output string) {
    // 读取需要去重的文件内容
    f, _ := os.Open(file)
    defer func() {
        ferr := f.Close()
        if ferr != nil {
            fmt.Println(ferr.Error())
        }
    }()

    reader := bufio.NewReader(f)

    // 去重map
    var set = make(map[string]struct{}, 1000)
    // 去重后的结果
    var result strings.Builder

    for {
        line, isPrefix, err := reader.ReadLine()

        if err != nil {
            break
        }

        if !isPrefix {
            lineStr := string(line)

            // key存在则跳出本次循环
            if _, ok := set[lineStr]; ok {
                continue
            }

            result.WriteString(fmt.Sprintf("%s\n", lineStr))

            set[lineStr] = struct{}{}
        }
    }

    // 写入另一个文件
    nf, _ := os.Create(output)
    io.Copy(nf, strings.NewReader(result.String()))

    defer nf.Close()
}