本文介绍三种零冗余类型转换、内存与性能兼顾的 Go 方式，用于读取换行分隔的 JSON（NDJSON）文件：bufio.Scanner 行迭代、bytes.Split 预分割、json.Decoder 流式解码，并对比其适用场景与注意事项。
本文介绍三种零冗余类型转换、内存与性能兼顾的 go 方式，用于读取换行分隔的 json（ndjson）文件：`bufio.scanner` 行迭代、`bytes.split` 预分割、`json.decoder` 流式解码，并对比其适用场景与注意事项。
在处理日志导出、数据管道或 API 批量响应等典型场景时，换行分隔的 JSON（Newline-Delimited JSON, NDJSON）格式因其简单性与流式友好性被广泛采用。每行一个合法 JSON 对象（如 {"id":1,"name":"alice"}），无外层数组包裹。Go 标准库未提供开箱即用的“批量 NDJSON 解析”函数，但可通过组合基础组件实现高效、低开销的解析——关键在于避免不必要的字节→字符串→字节转换，并合理权衡内存占用与处理延迟。
以下是三种推荐方案，均直接操作 []byte，无隐式字符串中间表示：
✅ 方案一：bufio.Scanner —— 内存最优，适合大文件流式处理
Scanner 按行缓冲，不加载全文件，天然跳过 \n（及 \r\n），返回每行原始字节切片（s.Bytes()），可直接传给 json.Unmarshal：
f, err := os.Open("data.ndjson")
if err != nil {
log.Fatal(err)
}
defer f.Close()
scanner := bufio.NewScanner(f)
for scanner.Scan() {
var user struct {
ID int `json:"id"`
Name string `json:"name"`
}
if err := json.Unmarshal(scanner.Bytes(), &user); err != nil {
log.Printf("parse error on line %d: %v", scanner.Bytes(), err)
continue // 或中断
}
fmt.Printf("Parsed: %+v\n", user)
}
if err := scanner.Err(); err != nil {
log.Fatal("scan error:", err)
}⚠️ 注意：scanner.Bytes() 返回的切片指向内部缓冲区，不可跨循环迭代保存（下一次 Scan() 会覆盖）。若需持久化某行数据，请显式拷贝：line := append([]byte(nil), scanner.Bytes()...)。
✅ 方案二：bytes.Split —— 预分割 + 全内存处理，逻辑最直观
适用于文件较小（如 < 100MB）、且需随机访问所有行或多次遍历的场景。ioutil.ReadFile（Go 1.16+ 已弃用，建议用 os.ReadFile）一次性读入全部字节，再用 bytes.Split(p, []byte{'\n'}) 切分为 [][]byte：
data, err := os.ReadFile("data.ndjson")
if err != nil {
log.Fatal(err)
}
lines := bytes.Split(data, []byte{'\n'})
for _, line := range lines {
if len(line) == 0 { // 跳过空行（如末尾换行）
continue
}
var user struct {
ID int `json:"id"`
Name string `json:"name"`
}
if err := json.Unmarshal(line, &user); err != nil {
log.Printf("unmarshal error: %v", err)
continue
}
// 处理 user...
}? 优势：代码线性清晰，便于调试；bytes.Split 返回的每个 []byte 是原数据的只读切片，零拷贝。
⚠️ 缺点：内存占用 = 文件大小 + O(n) 个切片头（约 24 字节/行），对超大文件不友好。
✅ 方案三：json.Decoder —— 原生支持多值流解码，语义最准确
encoding/json 的 Decoder 专为流式 JSON 设计，能自动忽略值间的空白（包括换行符），无需手动切分行——它将整个文件视为“多个连续 JSON 值”的流：
f, err := os.Open("data.ndjson")
if err != nil {
log.Fatal(err)
}
defer f.Close()
decoder := json.NewDecoder(f)
for {
var user struct {
ID int `json:"id"`
Name string `json:"name"`
}
if err := decoder.Decode(&user); err == io.EOF {
break // 文件结束
} else if err != nil {
log.Printf("decode error: %v", err)
continue
}
fmt.Printf("Decoded: %+v\n", user)
}✅ 这是语义上最正确的方式：NDJSON 本质就是“多个独立 JSON 值”，而非“带换行的字符串”。Decoder 自动处理 \r\n、多余空格、甚至行首 BOM，且内存占用恒定（仅单次解码缓冲）。
总结与选型建议
| 方案 | 内存占用 | 是否需手动处理换行 | 适用场景 |
|---|---|---|---|
| bufio.Scanner | 最低（常量缓冲） | 是（但已封装） | 大文件、内存敏感、只需顺序处理 |
| bytes.Split | 高（全文件 + 切片头） | 是（显式分割） | 小文件、需随机访问、逻辑简单优先 |
| json.Decoder | 低（恒定缓冲） | 否（自动跳过空白） | 推荐默认选择：语义精准、健壮、代码简洁 |
无论哪种方式，均无 []byte → string → []byte 的冗余转换，全程基于字节操作，符合高性能要求。实际项目中，优先使用 json.Decoder；若需严格控制每行边界（如记录行号错误定位），则选 bufio.Scanner。
