讲师中心 微信公众号
AI工具推荐 视频效率加速

Python 压缩算法在不同数据上的实测对比

风丽酱_8745

风丽酱_8745

发布时间:2026-02-16 10:50:46

|

572人浏览过

|

来源于php中文网

原创

zlib压缩比最高但最慢,lz4最快但压缩比仅zstd的60%~70%,zstd level=3为速度与压缩率最佳平衡点;实际选择需依数据重复度、CPU容忍度及流式需求而定。

python 压缩算法在不同数据上的实测对比

zlib、lz4、zstd 压缩比和速度到底差多少

实测下来,zlib(默认级别)在文本类数据上压缩比最高,但慢;lz4 极快,但压缩比常只有 zstd 的 60%~70%;zstd 在中等压缩级别(level=3)就基本能兼顾速度和压缩率,是多数场景的实用平衡点。

关键不是“哪个最强”,而是你手上的数据是否重复度高、是否允许 CPU 占用、是否需要流式解压。比如日志文件(大量重复字段)用 zstd 级别 10 可能比 zlib 级别 9 还快,而传感器采集的二进制浮点数组,lz4 反而更稳——因为 zlib 和 zstd 都可能因数据熵高而退化成“几乎不压缩+额外开销”。

  • zlib 对小块数据(
  • lz4 不支持压缩级别调节(只有 lz4.frame 模式可设 compression_level,但实际影响极小)
  • zstd 的 level=1 比 lz4 慢一点,但压缩率明显更好;level=3 是它真正的甜点区

Python 里怎么安全地选压缩库和参数

别直接写 import zlib 就开干。先看你的数据特征:是否可预测长度?是否要随机访问?是否跨语言交互?

zlib 兼容性最好(HTTP、gzip、PNG 都用它),但没多线程压缩;lz4 支持多线程压缩(lz4.frame.compress(data, compression_level=0, threads=4)),适合大文件批处理;zstd 的 ZstdCompressor(level=3, threads=0) 默认单线程,设 threads>1 才启用并行分块,但要注意:线程数不是越多越好,超过物理核数反而因调度开销变慢。

立即学习“Python免费学习笔记(深入)”;

python 查询技能
python 查询技能

查询客流数据,输出JSON格式,可直接导入Bitable等可视化工具

下载
  • 如果数据要被 Go 或 Rust 程序读取,优先选 zstd 或 zlib,lz4 的 Python 绑定(lz4 包)和 C 版本帧格式不完全一致,容易解不出
  • 用 zstd 时,别漏掉 write_content_size=True(否则解压端无法校验长度)
  • zlib.compress(data, level=-1) 不是“自动选最优”,而是等价于 level=Z_DEFAULT_COMPRESSION(通常是 6),别被文档误导

为什么有时候压缩后反而更大了

这不是 bug,是所有通用压缩算法的固有行为:低熵数据(比如已加密内容、高位随机字节、全零但长度很短)会触发压缩器的“最小输出长度”保护机制,导致加了头部却没省下多少字节。

典型表现:len(zlib.compress(b'\x00' * 10)) == 18,而原始才 10 字节;zstd 更明显,ZstdCompressor().compress(b'\x01') 输出至少 15 字节。

  • 对确定小于 1KB 的数据,建议加个开关:先试算原始大小,if len(data) < 1024: return data,避免负优化
  • lz4 的 lz4.block.compress() 有 store_size=False 参数可省去长度头,但解压时必须传入原始长度,适用场景有限
  • 别用压缩算法当“通用去重工具”——它不保证相同输入一定产生相同输出(比如 zstd 启用哈希加速后会有微小差异)

实测时最容易被忽略的细节

很多人跑个 timeit 就下结论,但真实瓶颈常不在压缩函数本身:内存拷贝、GIL 争抢、序列化前置成本(比如先把 dict 转 json 再压),都可能掩盖算法差异。

建议用 tracemalloc + time.perf_counter() 分开测三段:序列化耗时、压缩耗时、总内存峰值。你会发现:对一个 10MB 的 dict,json.dumps() 耗时可能是 zstd.compress() 的 2 倍以上。

  • 测试前务必用 gc.disable(),否则 zlib 在大块压缩时可能触发 GC,拉高时间抖动
  • zstd 的 compress() 接口默认返回 bytes,但如果你后续还要拼接或切片,考虑用 Compressor().compressobj() 流式接口,减少中间内存分配
  • 别信 PyPI 包名带 fast 的轮子——python-lz4 和 zstandard 才是真正调 C 实现的;pure-python-zstd 这类纯 Python 实现,速度差一个数量级

热门AI工具

更多
咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

LibLibAI
LibLibAI Hot

一款AI视频创作工具,主要用于国内领先的AI创意平台,以海量模型、低门槛操作与“创作-分享-商业化”生态,让小白与专业创作者都能高效实现图文乃至视频创意表达,适合需要提升相关任务效率的用户。

Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

相关专题

更多
页面置换算法
页面置换算法

页面置换算法是操作系统中用来决定在内存中哪些页面应该被换出以便为新的页面提供空间的算法。本专题为大家提供页面置换算法的相关文章,大家可以免费体验。

5496

2023.08.14

传感器故障解决方法
传感器故障解决方法

传感器故障排除指南:识别故障症状(如误读或错误代码)。检查电源和连接(确保连接牢固,无损坏)。校准传感器(遵循制造商说明)。诊断内部故障(目视检查、信号测试、环境影响评估)。更换传感器(选择相同规格,遵循安装说明)。验证修复(检查信号准确性,监测异常行为)。

3844

2024.06.04

PixTV官网入口地址合集
PixTV官网入口地址合集

本专题汇总了 PixTV AI 一站式视频创作平台的官方入口与使用教程。无需下载软件,浏览器直接访问即可使用。平台将剧本、图像、视频、声音与剪辑整合在“无限画布”中,接入 GPT Image 2.5、Seedance 2.5 等头部模型。本专题整理了从新建画布、角色锚定、分镜拆分到视频生成与导出的完整操作指南,助你快速上手 AI 短剧与漫剧创作。

0

2026.10.10

Kratos框架HTTP与gRPC服务开发教程
Kratos框架HTTP与gRPC服务开发教程

本专题围绕Kratos框架双协议服务开发,涵盖HTTP路由与处理器编写、参数获取、gRPC服务实现与客户端调用、metadata上下文传递、encoding编解码注册、统一响应封装、超时控制与流式响应实现方法。

0

2026.10.10

Kratos框架Protobuf接口定义与代码生成合集
Kratos框架Protobuf接口定义与代码生成合集

本专题讲解Kratos框架接口定义体系,涵盖proto编写规范、proto add/client/server生成命令、http注解路由、validate校验、OpenAPI文档生成、跨服务proto复用与兼容性设计。

0

2026.10.10

C++虚函数怎么定义和调用
C++虚函数怎么定义和调用

C++虚函数是实现运行时多态的重要机制。本专题从virtual关键字的基本用法入手,介绍基类与派生类之间的函数重写、基类指针调用派生类方法,以及动态绑定的执行过程,帮助初学者掌握虚函数的核心语法。

20

2026.10.10

C++类与对象的封装方法教程
C++类与对象的封装方法教程

C++封装是面向对象编程的核心特性之一,通过类将数据与操作数据的函数组织在一起,并利用访问权限控制外部访问。本专题介绍类的定义、成员变量、成员函数以及public、private和protected的使用方法,帮助初学者掌握封装的基本原理。

0

2026.10.10

C++构造函数定义与调用方法
C++构造函数定义与调用方法

C++构造函数用于初始化类对象,是面向对象编程的重要基础。本专题从构造函数的定义、声明和调用入手,介绍默认构造函数、带参数构造函数、拷贝构造函数及成员初始化列表,帮助初学者掌握对象创建与初始化的基本方法。

20

2026.10.10

Kratos框架零基础入门教程
Kratos框架零基础入门教程

本专题整理Kratos框架入门内容,涵盖Go环境准备、kratos CLI安装升级、new命令创建项目、目录结构分层说明、服务启动与双协议端口、依赖下载报错排查,帮助开发者快速跑通第一个Kratos框架微服务应用。

20

2026.10.10

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn