本文介绍如何使用 go 标准库高效获取远程 html 页面的原始响应体大小，强调不下载完整资源、不解析 dom，仅精确测量 html 文档本身的字节数。
本文介绍如何使用 go 标准库高效获取远程 html 页面的原始响应体大小，强调不下载完整资源、不解析 dom，仅精确测量 html 文档本身的字节数。
在 Go 中获取 HTML 文档的原始大小（即服务器返回的 HTML 响应体字节数），关键在于直接读取 HTTP 响应体的原始字节流，而非解析后的结构化内容。GoQuery 等解析库旨在操作 DOM 节点，其 NewDocumentFromReader 会消费并转换数据流，无法直接提供原始尺寸——因此必须在解析前完成长度测量。
✅ 正确做法：在解析前读取完整响应体
使用 http.Get 发起请求后，调用 io.ReadAll 将 res.Body 全部读入内存字节切片，再通过 len() 获取字节数：
package main
import (
"fmt"
"io"
"net/http"
)
func getHTMLSize(url string) (int, error) {
res, err := http.Get(url)
if err != nil {
return 0, fmt.Errorf("failed to fetch %s: %w", url, err)
}
defer res.Body.Close()
// 检查状态码是否为成功响应
if res.StatusCode != http.StatusOK {
return 0, fmt.Errorf("HTTP %d: %s", res.StatusCode, http.StatusText(res.StatusCode))
}
body, err := io.ReadAll(res.Body)
if err != nil {
return 0, fmt.Errorf("failed to read response body: %w", err)
}
return len(body), nil
}
func main() {
size, err := getHTMLSize("https://example.com")
if err != nil {
panic(err)
}
fmt.Printf("HTML document size: %d bytes\n", size)
}⚠️ 注意事项：
- io.ReadAll 会将整个响应体加载到内存，对超大页面（如 >100MB）需谨慎；生产环境建议结合 io.LimitReader 或流式校验；
- 此方法获取的是 传输层原始 HTML 字节长度（含 BOM、换行符、空格等），与浏览器开发者工具中“Size”字段一致，但不含 CSS/JS/图片等外部资源；
- 若需处理非 UTF-8 编码（如 GBK），应在读取后进行字符集转换（如用 golang.org/x/text/encoding），但编码转换不影响原始字节数——len(body) 始终反映网络传输的实际字节数。
? 与 GoQuery 协同使用（推荐顺序）
若后续仍需用 GoQuery 解析文档，务必先测量大小，再重建 reader（避免 body 已被读取耗尽）：
立即学习“前端免费学习笔记（深入）”；
// ✅ 安全方式：复用 body 字节，构造新 reader
body, _ := io.ReadAll(res.Body)
htmlSize := len(body)
// 构造新的 io.Reader 供 GoQuery 使用（支持编码转换）
utf8Reader := io.MultiReader(
bytes.NewReader(body),
)
doc, err := goquery.NewDocumentFromReader(utf8Reader)或更高效地使用 bytes.NewReader(body) 避免重复下载（尤其在调试或批量采集时）。
? 总结
- HTML 文档大小 = len(io.ReadAll(http.Response.Body))，这是最准确、最轻量的测量方式；
- 不要依赖 Content-Length Header：它可能缺失、不准确（如分块传输），且无法反映解压后真实大小（如 gzip 响应需先解压）；
- 所有解析库（GoQuery、colly、antch）均应在获取原始字节后介入，而非替代此步骤；
- 实际工程中建议添加超时控制、User-Agent 设置及重试逻辑，确保健壮性。
通过该方法，你可精准复现 Firefox “Page Info → General → Size” 的行为，为性能分析、缓存策略或合规性审计提供可靠数据基础。
