在 Go 中使用 http.Client 发起大量 HTTPS 请求时，若未完整读取响应体，会导致连接无法复用、端口耗尽；本文详解如何结合 json.Decoder 安全解析 JSON 并确保连接复用。
在 go 中使用 `http.client` 发起大量 https 请求时，若未完整读取响应体，会导致连接无法复用、端口耗尽；本文详解如何结合 `json.decoder` 安全解析 json 并确保连接复用。
Go 的 net/http 默认启用 HTTP/1.1 Keep-Alive，但连接复用的前提是：必须完全消费（read until EOF）响应体（resp.Body）。否则，底层 http.Transport 会认为连接处于“脏状态”，拒绝将其放回连接池，最终引发 socket: too many open files 或连接超时等问题。
你当前的代码存在隐患：
resp, err := client.Do(req)
if err != nil {
// handle error
}
defer resp.Body.Close() // ❌ 错误：defer 在函数退出时才执行，但 Decode 可能未读完全部 body
decoder := json.NewDecoder(resp.Body)
decoder.Decode(data) // ✅ 成功解码首个 JSON 对象
// ❌ 此处 resp.Body 可能仍有未读字节（如换行、空格、多余数据），导致连接被丢弃json.Decoder 是流式解析器，它只读取构成单个 JSON 值所需的最小字节数（例如一个对象或数组），不会自动跳过后续空白或残留数据。因此，即使 Decode() 成功返回，resp.Body 的读取位置可能并未到达 EOF。
✅ 正确做法：显式判断并清空剩余字节
推荐方案是使用 decoder.More() 检测是否还有未解析的 JSON 值，再按需丢弃剩余内容：
resp, err := client.Do(req)
if err != nil {
return err
}
defer resp.Body.Close() // ✅ defer 合理，但需确保 body 被完全读取
decoder := json.NewDecoder(resp.Body)
if err := decoder.Decode(&data); err != nil {
return fmt.Errorf("failed to decode JSON: %w", err)
}
// 检查响应体中是否还有更多 JSON 值（常见于服务端返回多个对象、或附加元数据）
if decoder.More() {
// 存在多余 JSON 数据 → 必须消费掉，否则连接无法复用
if _, err := io.Copy(io.Discard, resp.Body); err != nil {
return fmt.Errorf("failed to discard remaining body: %w", err)
}
}
// ✅ 此时 resp.Body 已达 EOF，连接将被正常归还至连接池? decoder.More() 返回 true 表示流中尚有下一个有效的 JSON 值（如 {"a":1}{"b":2} 中第二个对象）。若服务端仅返回单个 JSON（最常见场景），该方法通常返回 false，但仍建议保留检查逻辑以增强健壮性。
? 额外优化：配置可复用的 HTTP Client
仅处理响应体还不够，还需确保 http.Client 和 http.Transport 配置支持长连接：
client := &http.Client{
Transport: &http.Transport{
MaxIdleConns: 100,
MaxIdleConnsPerHost: 100,
IdleConnTimeout: 30 * time.Second,
TLSHandshakeTimeout: 10 * time.Second,
},
}⚠️ 注意事项：
- 不要手动设置 Connection: keep-alive 头：Go 的 http.Transport 会自动管理该头，显式设置反而可能干扰内部逻辑；
- 避免 ioutil.ReadAll(resp.Body) 盲读：对大响应体易引发 OOM；io.Copy(io.Discard, ...) 更省内存；
- 始终检查 err：Decode() 和 More() 均可能因网络中断或格式错误返回非-nil error；
- defer resp.Body.Close() 仍需保留：作为兜底防护，防止 panic 导致资源泄漏。
通过以上方式，你既能高效流式解析 JSON，又能确保每个 HTTPS 连接在请求结束后被正确复用，显著提升高并发场景下的稳定性和性能。
