唯一靠谱的压缩比评估方式是直接跑benchmark:用testing.B测试真实数据(小/中/大三档),bytes.Buffer获取压缩后长度,确保defer Close后再取值,zstd与gzip参数不可直接对比,level>15性价比低。

直接跑 benchmark 是唯一靠谱的生成方式——没有“通用压缩比”,只有“你这批数据在你这台机器上用这个算法和参数的实际表现”。
用 testing.B 写压缩比 benchmark
别信文档里的理论值,同一段 JSON 在不同长度、重复度、字符分布下,gzip 和 zstd 的压缩比可能差 30%。benchmark 必须用真实样本,且至少覆盖小(1MB)三档数据。
- 用
bytes.Buffer接收压缩输出,调buf.Len()得压缩后字节数 - 原始数据长度固定用
len(input),压缩比 =float64(buf.Len()) / float64(len(input)) - 每个算法单独写一个
BenchmarkCompressXxx函数,避免复用 buffer 导致脏数据 - 务必在
defer writer.Close()后再取长度,否则 gzip/zstd 可能漏写 trailer
zstd 和 gzip 的 level 参数不能直接对比
gzip.BestSpeed 和 zstd.SpeedFastest 看似都是“最快”,但实际 CPU 消耗和压缩率差异极大。zstd 的 level 范围是 1–22,gzip 是 1–9,且 zstd level=3 常比 gzip level=1 还快还小。
- 实测常见组合:
zstd.WithEncoderLevel(zstd.SpeedFastest)vsgzip.NewWriterLevel(dst, gzip.BestSpeed) - 想压得更小?zstd level=10 通常比 gzip level=9 小 10%~15%,且解压更快
- level >15 对 CPU 是惩罚,体积收益常
小数据(
gzip header 固定 10 字节,zstd header 至少 6 字节,snappy header 约 4 字节。若原始数据本身只有几十字节,压缩后必然膨胀。
立即学习“go语言免费学习笔记(深入)”;
- 阈值设在
512~2048字节之间较稳妥,用if len(data) 拦住 - 别对空字符串或纯 ASCII 控制字符(如
\x00~\x1f)尝试压缩,极易触发 invalid header 错误 - HTTP 场景下,即使压缩失败也别 panic,应 fallback 到原样返回,并记录 warn 日志
解压失败时先检查输入完整性
gzip: invalid header 或 zstd: unknown block header 八成不是算法问题,而是传入了截断/拼接错误的字节流。
- 解压前加校验:
if len(data) == 0 { return nil, errors.New("empty input") } - 如果是从 HTTP body 读取,确认没被中间件提前 Close 或 read 到 EOF
- 跨服务传输时,用 base64 编码再传,避免二进制乱码;解压前先
base64.StdEncoding.DecodeString
真正难的不是选哪个算法,而是怎么让 benchmark 结果可复现:CPU 频率是否锁频、是否关闭 turbo boost、buffer 是否预分配、是否 warmup 了 GC —— 这些细节不控,两次结果能差 20%。


















