MessagePack比JSON更小更快的根本原因是其采用二进制序列化,省去JSON中所有冗余文本字符(如引号、逗号、括号),且通过单字节类型标识实现高效解析;实测体积减至40%–60%,速度提升2–5倍。

msgpack比json小且快的根本原因是什么?
因为msgpack是二进制序列化协议,不带冗余字符(比如引号、逗号、空格),也不强制字符串键名;而json是纯文本,所有键和字符串值都必须加双引号,数字和布尔值还要转成ASCII字节。实测同一份嵌套字典,msgpack体积通常只有json的40%–60%,序列化/反序列化速度高2–5倍——尤其在大量数值或短键名场景下更明显。
用msgpack.packb()和msgpack.unpackb()完成基础替换
别用json.dumps()/json.loads()那一套思维。msgpack默认不支持Python的datetime、set、自定义类等类型,直接传会报TypeError: can not serialize 'datetime' object。
基础替换步骤:
- 安装:
pip install msgpack - 序列化:用
msgpack.packb(data, use_bin_type=True),use_bin_type=True确保bytes类型不被转成str(否则Python 3下可能出错) - 反序列化:用
msgpack.unpackb(data_bytes, raw=False),raw=False让二进制key自动转成str(兼容dict习惯) - 网络传输时,直接发
bytes,不用再.encode();接收后也无需.decode()
示例:
Camoufox 是一个基于 Firefox 构建的开源反检测浏览器,为 Python 自动化工作流程提供强大的指纹注入和反机器人检测规避功能。它与 Playwright 集成,以提供能够绕过现代机器人检测系统的隐身浏览能力。
立即学习“Python免费学习笔记(深入)”;
import msgpack
<p>data = {"id": 123, "name": "alice", "scores": [95.5, 87]}
packed = msgpack.packb(data, use_bin_type=True) # → bytes
unpacked = msgpack.unpackb(packed, raw=False) # → {'id': 123, 'name': 'alice', ...}
遇到datetime、numpy数组或自定义类怎么办?
msgpack默认不认这些类型,但支持通过default和object_hook扩展。关键不是“怎么塞进去”,而是“收回来时能否无损还原”。
-
datetime:推荐转为时间戳整数(int(dt.timestamp())),反序列化时再转回;避免用isoformat()字符串,那又变大了 -
numpy.ndarray:用.tolist()最简单,但大数组会丢精度且慢;更优是先.tobytes()+ 记录dtype和shape,打包成字典再序列化 - 自定义类:在
default=里返回{"__class__": "MyClass", "data": {...}}结构,再用object_hook=识别并重建实例 - 注意:启用
strict_map_key=False可允许非string key(如int做dict键),但接收方必须同样设,否则unpackb会报错
和服务端/其他语言互通时最容易翻车的点
msgpack标准本身跨语言,但Python的msgpack库默认行为和其他语言(如JavaScript的msgpack-lite、Rust的rmp-serde)不完全对齐。
- Python默认把字符串当
bin类型(如果use_bin_type=True),而JS默认按str处理;两边要统一设raw=True或raw=False - 浮点数精度:Python用double,但某些嵌入式msgpack实现只支持float32,传
3.1415926535过去可能变成3.1415927 - 空值处理:
None在msgpack里是nil,没问题;但有些旧版JS库把nil当成undefined,导致字段丢失 - 最稳妥做法:和对方约定使用
raw=False+use_bin_type=True,并用msgpack.ExtType显式标记特殊数据(比如timestamp、binary blob),而不是依赖隐式转换
传输前务必用len(packed)对比json大小,用timeit跑几轮确认加速效果——有时候数据太小,msgpack的编码开销反而比json高。

















