本文介绍使用流式 json 扫描器（如 megajson）对 30mb 级别未知结构的 json 进行内存友好的字段值替换，无需完整解码为 struct，特别适用于网络流式接收场景。
本文介绍使用流式 json 扫描器（如 megajson）对 30mb 级别未知结构的 json 进行内存友好的字段值替换，无需完整解码为 struct，特别适用于网络流式接收场景。
在处理大型 JSON（如 30MB）时，若结构动态且仅需修改特定键（如 "title"）的字符串值，传统 json.Unmarshal + struct 反序列化会带来显著内存开销与性能瓶颈——不仅需加载全部 JSON 到内存，还需定义嵌套结构体，违背“结构未知”的前提。此时，流式（streaming）JSON 处理是更优解：逐词元（token）解析，边读边改，常数级内存占用（O(1)），毫秒级响应延迟。
推荐使用轻量、无依赖的 megajson/scanner（注意：非官方 megajson 主库，而是其精简扫描模块）。它提供低层 token 流接口（TSTRING, TCOLON, TLEFTBRACE 等），允许我们在解析过程中精准定位 "title" 键后的字符串值，并实时替换。
以下是一个生产就绪的通用替换函数示例，支持自定义映射逻辑（如 "alpha" → "Α"）：
package main
import (
"bytes"
"io"
"unicode"
"github.com/benbjohnson/megajson/scanner"
)
// ReplaceTitleValues 对输入 JSON 流中所有 "title" 字段的字符串值执行自定义替换
// 替换逻辑通过 translator 函数实现，例如：func(s string) string { return titleMap[s] }
func ReplaceTitleValues(r io.Reader, w io.Writer, translator func(string) string) error {
buf := new(bytes.Buffer)
r = io.TeeReader(r, buf) // 镜像读取到缓冲区，用于回溯提取字符串内容
s := scanner.NewScanner(r)
var prevTok int
var prevPos int
wasTitle := false
titleKey := []byte("title")
for {
tok, raw, err := s.Scan()
if err == io.EOF {
break
}
if err != nil {
return err
}
pos := s.Pos()
off := pos - prevPos
switch tok {
case scanner.TSTRING:
// 检查当前字符串是否为 key："title"
if bytes.Equal(raw, titleKey) {
wasTitle = true
} else if prevTok == scanner.TCOLON && wasTitle {
// 当前字符串是 "title" 的 value，提取原始字符串（去除双引号）
// 注意：buf.Bytes()[:off] 包含从上一位置到当前位置的全部字节
// 我们需要的是刚扫描出的字符串内容（即 raw），但 raw 是带引号的原始切片
// 更健壮的做法：从 buf 提取 [prevPos+1 : pos-1] 区间（跳过首尾引号）
start := prevPos + 1
end := pos - 1
if start < end && end <= buf.Len() {
quoted := buf.Bytes()[start:end]
original := string(quoted)
// 执行业务替换（如查表、转大写、翻译等）
replaced := translator(original)
// 写入新字符串（需手动加引号）
_, _ = w.Write([]byte{'"'})
_, _ = w.Write([]byte(replaced))
_, _ = w.Write([]byte{'"'})
wasTitle = false
// 跳过原字符串输出（已由我们重写）
goto next
}
}
case scanner.TCOLON:
// 仅记录冒号位置，不重置 wasTitle
default:
wasTitle = false // 其他 token 重置状态
}
// 正常输出当前 token 原始字节（不含已处理的 title value）
_, err = w.Write(buf.Bytes()[:off])
if err != nil {
return err
}
next:
// 重置缓冲区：保留未消费部分
remaining := buf.Bytes()[off:]
buf.Reset()
buf.Write(remaining)
prevTok = tok
prevPos = pos
}
return nil
}✅ 关键设计说明：
- 零拷贝感知：利用 io.TeeReader 镜像输入流至 bytes.Buffer，避免重复读取；通过 s.Pos() 定位 token 在 buffer 中的真实偏移。
- 精准匹配：仅当 TSTRING 后紧跟 TCOLON（即 "title": 形式）时，才将后续 TSTRING 视为待替换值，规避 key 名含 title 的误触发（如 "subtitle"）。
- 可扩展替换逻辑：translator 参数接受任意 func(string)string，可接入翻译 API、映射表（map[string]string）、正则替换或大小写转换（如 strings.ToTitle）。
- 内存安全：缓冲区随处理进度动态截断，不会因超长字符串无限增长（极端情况可通过预设最大字符串长度做防御）。
⚠️ 注意事项：
- megajson/scanner 不验证 JSON 语法完整性，确保输入源格式合法；若需强校验，建议前置 json.RawMessage 校验或使用 encoding/json 的 Decoder.Token() 作为备选（性能略低）。
- 该方案不修改 JSON 结构（如缩进、空格、换行），输出与输入格式一致，适合管道化处理。
- 网络流场景下，应配合 http.Request.Body 直接传入 r，并设置合理 http.Timeout 防止长连接阻塞。
总结：面对结构未知的大 JSON 字段替换需求，放弃反序列化思维，转向基于 token 的流式编辑，是 Go 生态中兼顾性能、内存与灵活性的最佳实践。掌握 scanner 模式，可轻松延伸至日志脱敏、字段加密、动态注入等各类 JSON 中间件场景。
