压缩比必须调用gzip.Writer.Close()后统计真实长度才准确,否则遗漏10字节头部和8字节尾部校验,导致结果虚高约18字节;正确做法是Close()后取bytes.Buffer.Len()或os.Stat().Size()。

压缩比怎么算才准:别直接用 len(src) 除 len(dst)
压缩比不是简单拿原始字节数除压缩后字节数——关键在于你统计的是哪一段数据。常见错误是把未关闭的 gzip.Writer 写出的缓冲区长度当压缩结果,实际它还没写入尾部校验(gzip 格式头+尾),解压会失败,且长度偏小。
正确做法必须调用 Close() 后再取长度:
-
gzip.Writer的缓冲区在Close()前只存压缩主体,不包含 gzip 文件头(10 字节)和尾部校验(8 字节) - 不
Close()就读bytes.Buffer.Len(),结果比真实 gzip 文件小 18 字节左右,压缩比虚高 - 若目标是存文件,应统计
os.Stat(dst).Size();若在内存中,必须gz.Close()后再buf.Len()
压缩比受哪些参数影响最大:gzip.BestSpeed vs gzip.BestCompression
Go 的 compress/gzip 支持从 gzip.NoCompression(0)到 gzip.BestCompression(9)共 10 级,但实际影响压缩比的只有几个关键档位:
-
gzip.BestSpeed(1):LZ77 窗口小、霍夫曼树静态,压缩比最低(通常 1.2–1.5×),但速度最快 -
gzip.DefaultCompression(-1):动态窗口 + 动态霍夫曼,平衡点,文本类压缩比约 3–4×,推荐作为基准线 -
gzip.BestCompression(9):穷举最长匹配、多轮霍夫曼优化,压缩比最高(可达 5–6×),但 CPU 时间可能翻倍 - 对已压缩数据(如
.jpg、.mp4)设再高级别也几乎不缩小,反而白耗 CPU
怎么批量统计不同文件的压缩比:别用单 goroutine 串行跑
想对比日志、JSON、CSV 等几类文件的真实压缩效果,串行遍历会掩盖 I/O 和 CPU 差异。建议按类型分组,并发处理,同时采集三类指标:
立即学习“go语言免费学习笔记(深入)”;
- 原始大小:
fi.Size() - 压缩后大小:调用
gz.Close()后的buf.Len()或磁盘文件os.Stat().Size() - 耗时:用
time.Since(start),注意排除os.Open和os.Create的 I/O 波动 - 加
runtime.GC()前后调用可减少 GC 干扰(仅调试用)
示例关键逻辑片段:
func calcRatio(src string, level int) (float64, time.Duration, error) {
f, _ := os.Open(src)
defer f.Close()
var buf bytes.Buffer
gz := gzip.NewWriter(&buf)
gz.Level = level
start := time.Now()
io.Copy(gz, f)
gz.Close() // 必须
dur := time.Since(start)
ratio := float64(buf.Len()) / float64(stat.Size())
return ratio, dur, nil
}
为什么同一文件多次压缩比浮动:和输入块大小、bufio 缓冲有关
即使固定压缩级别,gzip.Writer 的输出长度也可能差几个字节——这不是 bug,而是 DEFLATE 算法的正常行为:
- LZ77 滑动窗口匹配依赖于当前输入块边界,
io.Copy默认 32KB 缓冲,而手动Read/Write用 1KB 块,匹配结果会不同 - 霍夫曼编码树构建受符号频率分布影响,微小的块切分变化可能导致树结构微调
- 使用
bufio.Reader包裹源文件,或统一用io.CopyBuffer指定固定make([]byte, 64*1024),能显著降低浮动范围(通常 ≤ 0.1%) - 若需完全可重现结果(如校验归档),得用
flate.NewWriter替代gzip.NewWriter,并禁用动态霍夫曼(需 hack 底层flate.Writer)
真实生产环境里,压缩比波动本身不重要,重要的是它是否稳定落在预期区间(比如 JSON 日志稳定在 3.8–4.2×),大幅偏离才该查数据特征或代码漏 Close。


















