在 Go 语言中，处理非 UTF-8 编码的文本文件是一个常见的需求。虽然 Go 的标准库默认采用 UTF-8 编码，但是通过 golang.org/x/text 项目提供的工具，我们可以方便地读取和写入其他编码格式的文件，例如 GBK、Big5 等。
使用 golang.org/x/text/encoding 包
golang.org/x/text/encoding 包定义了字符编码的接口，可以实现 UTF-8 与其他编码格式之间的转换。而 golang.org/x/text/encoding/simplifiedchinese 子包则提供了 GBK、GB18030 和 HZ-GB2312 等编码的具体实现。
以下是一个读取和写入 GBK 编码文件的示例：
package main
import (
"bufio"
"fmt"
"log"
"os"
"golang.org/x/text/encoding/simplifiedchinese"
"golang.org/x/text/transform"
)
// 编码方式，这里选择 GBK。可以根据需要替换为其他编码，例如 traditionalchinese.Big5
var enc = simplifiedchinese.GBK
func main() {
const filename = "example_GBK_file"
exampleWriteGBK(filename)
exampleReadGBK(filename)
}
func exampleReadGBK(filename string) {
// 从 GBK 编码的文件中读取 UTF-8 文本。
f, err := os.Open(filename)
if err != nil {
log.Fatal(err)
}
defer f.Close()
// 使用 transform.NewReader 将 GBK 转换为 UTF-8
r := transform.NewReader(f, enc.NewDecoder())
// 从 r 中读取转换后的 UTF-8 数据。
// 这里以逐行读取为例：
sc := bufio.NewScanner(r)
for sc.Scan() {
fmt.Printf("Read line: %s\n", sc.Text()) // 使用 sc.Text() 获取 UTF-8 字符串
}
if err := sc.Err(); err != nil {
log.Fatal(err)
}
}
func exampleWriteGBK(filename string) {
// 将 UTF-8 文本写入 GBK 编码的文件。
f, err := os.Create(filename)
if err != nil {
log.Fatal(err)
}
defer f.Close()
// 使用 transform.NewWriter 将 UTF-8 转换为 GBK
w := transform.NewWriter(f, enc.NewEncoder())
// 将 UTF-8 数据写入 w。
_, err = fmt.Fprintln(w,
`In 1995, China National Information Technology Standardization
Technical Committee set down the Chinese Internal Code Specification
(Chinese: 汉字内码扩展规范（GBK）; pinyin: Hànzì Nèimǎ
Kuòzhǎn Guīfàn (GBK)), Version 1.0, known as GBK 1.0, which is a
slight extension of Codepage 936. The newly added 95 characters were not
found in GB 13000.1-1993, and were provisionally assigned Unicode PUA
code points.`)
if err != nil {
log.Fatal(err)
}
}代码解释：
Golang Uber Dig
下载
使用 uber-go/dig 在 Golang 中实现依赖注入——基于反射容器，提供 Provide/Invoke、dig.In/dig.Out 参数与结果对象，支持命名依赖等
- 导入必要的包: 引入了 bufio, fmt, log, os, golang.org/x/text/encoding/simplifiedchinese, 和 golang.org/x/text/transform 等包。
- 定义编码器: enc := simplifiedchinese.GBK 定义了要使用的编码器。这里使用了 GBK 编码。你可以根据需要更改为其他编码，例如 simplifiedchinese.GB18030 或 traditionalchinese.Big5。
- 创建 Reader/Writer: transform.NewReader(f, enc.NewDecoder()) 创建了一个 io.Reader，它会将从文件 f 读取的 GBK 编码数据转换为 UTF-8 编码。 transform.NewWriter(f, enc.NewEncoder()) 创建了一个 io.Writer，它会将写入到文件 f 的 UTF-8 编码数据转换为 GBK 编码。
- 读取/写入数据: 使用 bufio.NewScanner 逐行读取转换后的 UTF-8 数据，或者使用 fmt.Fprintln 将 UTF-8 数据写入转换器。
注意事项：
- 确保安装 golang.org/x/text 包。 可以使用 go get golang.org/x/text 命令安装。
- transform.NewReader 和 transform.NewWriter 在数据读取/写入时进行实时编码转换。
- 在读取文件时，使用 sc.Text() 获取 UTF-8 字符串，而不是 sc.Bytes()。
总结：
通过使用 golang.org/x/text/encoding 包，Go 语言可以方便地处理各种字符编码的文本文件，无需依赖额外的 C 库。只需选择合适的编码器，并使用 transform.NewReader 和 transform.NewWriter 进行转换，即可实现编码的自动转换。 这使得 Go 语言在处理国际化和本地化相关的问题时更加灵活和强大。
