讲师中心 微信公众号
AI工具推荐 视频效率加速

Python 序列化协议的性能与兼容性对比

大辰姑娘_6293

大辰姑娘_6293

发布时间:2026-02-15 15:40:36

|

127人浏览过

|

来源于php中文网

原创

纯数据场景下msgpack最快,比pickle快1.5–3倍;pickle唯一支持带方法的类实例;protobuf跨语言稳定但需预定义schema;json仅适用于Web API和配置文件。

python 序列化协议的性能与兼容性对比

Python 里 pickle、json、msgpack 和 protobuf 谁更快?

纯数据场景下,msgpack 通常比 pickle 快 1.5–3 倍,序列化小对象时甚至接近 json 的 2 倍;但如果你存的是带方法的类实例,只有 pickle 能直接搞定。protobuf 启动慢(要先编译 .proto)、序列化单个对象不占优,但在跨语言+高频通信场景里,它的体积和解析稳定性碾压其他三个。

实操建议:

立即学习“Python免费学习笔记(深入)”;

  • json:只用于 Web API 或配置文件——它不支持 bytes、datetime、NaN,遇到就报 TypeError: Object of type bytes is not JSON serializable
  • pickle:别用 protocol=0(ASCII 模式),默认的 protocol=4(Python 3.8+ 是 5)快且紧凑;但永远别反序列化不可信来源的数据,会执行任意代码
  • msgpack:加 use_bin_type=True 才能正确 round-trip bytes,否则自动转成 str;默认不支持 datetime,得手动注册 ext hook
  • protobuf:不是“拿来就能用”的序列化库,必须定义 schema、生成 Python 类,适合长期演进的接口,不适合 ad-hoc 数据临时传

pickle 兼容性差在哪?为什么跨 Python 版本容易炸?

pickle 协议本身不向后兼容:Python 3.8 默认用 protocol=5,而 3.7 只认到 4,直接 load() 就抛 ValueError: unsupported pickle protocol: 5。更隐蔽的是,同一协议下,如果类定义变了(比如删了字段、改了 __init__ 签名),load() 会静默失败或构造出半初始化对象。

实操建议:

立即学习“Python免费学习笔记(深入)”;

  • 显式指定协议版本:写入时用 pickle.dump(obj, f, protocol=4),确保 3.7+ 都能读
  • 避免直接序列化嵌套太深的自定义类;优先把数据抽成 dict 或 dataclass + asdict() 再 pickle
  • 如果必须跨版本传输,用 cloudpickle 替代原生 pickle——它能捕获更多上下文,但体积更大、启动更慢

JSON 序列化 datetime 或 bytes 为啥总报错?怎么绕过?

json.dumps() 默认只认 str、int、float、list、dict、bool、None 这七种类型。传 datetime.now() 就是 TypeError: Object of type datetime is not JSON serializable;传 b'hello' 也一样。

Python Hardener
Python Hardener

通过完整的安全审查、代码整洁重构、健壮的错误处理、正确的日志记录以及完整的文档字符串覆盖,强化 Python 脚本。

下载

实操建议:

立即学习“Python免费学习笔记(深入)”;

  • 用 default 参数接管未知类型:json.dumps(obj, default=str) 最省事,但会把 datetime 变成 ISO 字符串、bytes 变成 b'xxx' 的 repr,接收方得自己 parse
  • 更可控的做法是写专用 encoder:class DateTimeEncoder(json.JSONEncoder): def default(self, o): return o.isoformat() if isinstance(o, datetime) else super().default(o)
  • bytes 类型别硬塞进 JSON;真要传二进制,先 base64.b64encode(x).decode(),再放 dict 里当字符串字段

msgpack 比 pickle 小但为啥有时反而更慢?

msgpack 二进制体积通常比 pickle 小 10–20%,尤其对大量数字或短字符串;但它的 Python 实现(msgpack-python)在处理含大量小 list/dict 的嵌套结构时,C 扩展调用开销明显,反而比纯 C 实现的 pickle 慢。另外,如果开了 strict_types=True 或用了 ext hook,性能折损更大。

实操建议:

立即学习“Python免费学习笔记(深入)”;

  • 测速前先确认用的是 msgpack.packb(..., use_bin_type=True),否则 bytes 会被当成 str 编码,后续解析出错
  • 避免在循环里反复调用 msgpack.packb();批量数据优先用 msgpack.Packer() 实例复用 buffer
  • 如果数据里有大量重复 key(比如日志列表),开 use_bin_type=True + strict_types=True 反而增加 CPU 开销,不如关掉

真正难搞的不是选哪个协议,而是当服务从单机变分布式、从 Python 2 升到 3、从内部 RPC 拓展到外部 API 时,序列化格式的边界突然变得模糊——这时候协议不再是性能数字,而是契约。一个 datetime 字段要不要带 tzinfo,None 算不算合法值,float('inf') 怎么传,这些细节往往拖垮整个迁移节奏。

相关文章

数码产品性能查询
数码产品性能查询

该软件包括了市面上所有手机CPU,手机跑分情况,电脑CPU,电脑产品信息等等,方便需要大家查阅数码产品最新情况,了解产品特性,能够进行对比选择最具性价比的商品。

下载

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

Seko
Seko Hot

一款AI视频创作工具,主要用于商汤科技推出的创编一体的AI短视频创作Agent,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

相关专题

更多
什么是分布式
什么是分布式

分布式是一种计算和数据处理的方式,将计算任务或数据分散到多个计算机或节点中进行处理。本专题为大家提供分布式相关的文章、下载、课程内容,供大家免费下载体验。

2153

2023.08.11

分布式和微服务的区别
分布式和微服务的区别

分布式和微服务的区别在定义和概念、设计思想、粒度和复杂性、服务边界和自治性、技术栈和部署方式等。本专题为大家提供分布式和微服务相关的文章、下载、课程内容,供大家免费下载体验。

3554

2023.10.07

json数据格式
json数据格式

JSON是一种轻量级的数据交换格式。本专题为大家带来json数据格式相关文章,帮助大家解决问题。

2275

2023.08.07

json是什么
json是什么

JSON是一种轻量级的数据交换格式,具有简洁、易读、跨平台和语言的特点,JSON数据是通过键值对的方式进行组织,其中键是字符串,值可以是字符串、数值、布尔值、数组、对象或者null,在Web开发、数据交换和配置文件等方面得到广泛应用。本专题为大家提供json相关的文章、下载、课程内容,供大家免费下载体验。

3702

2023.08.23

jquery怎么操作json
jquery怎么操作json

操作的方法有:1、“$.parseJSON(jsonString)”2、“$.getJSON(url, data, success)”;3、“$.each(obj, callback)”;4、“$.ajax()”。更多jquery怎么操作json的详细内容,可以访问本专题下面的文章。

1236

2023.10.13

go语言处理json数据方法
go语言处理json数据方法

本专题整合了go语言中处理json数据方法,阅读专题下面的文章了解更多详细内容。

4279

2025.09.10

css中float用法
css中float用法

css中float属性允许元素脱离文档流并沿其父元素边缘排列,用于创建并排列、对齐文本图像、浮动菜单边栏和重叠元素。想了解更多float的相关内容,可以阅读本专题下面的文章。

7407

2024.04.28

C++中int、float和double的区别
C++中int、float和double的区别

本专题整合了c++中int和double的区别,阅读专题下面的文章了解更多详细内容。

864

2025.10.23

Postman身份认证怎么配置
Postman身份认证怎么配置

本专题从实际API接口调试场景出发,讲解Postman身份认证的完整配置流程,包括常见认证协议介绍、授权参数设置、访问令牌填写、OAuth 2.0授权及认证失败排查,帮助用户正确完成接口授权与访问验证。

0

2026.11.06

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn