讲师中心 微信公众号
AI工具推荐 视频效率加速

Python 对象序列化与反序列化最佳实践

轻枫同学_5886

轻枫同学_5886

发布时间:2026-01-26 19:25:35

|

955人浏览过

|

来源于php中文网

原创

pickle 不该用于不可信数据,因其反序列化会执行任意代码;应改用 json 或 msgpack 等安全方案,并显式处理 datetime、bytes、Decimal 等类型。

python 对象序列化与反序列化最佳实践

为什么 pickle 不该用于不可信数据

pickle 反序列化会执行任意代码,只要载入的字节流里藏了恶意构造的 __reduce__ 调用。线上服务若用 pickle.load() 解析用户上传的二进制数据,等于直接给攻击者开 shell 权限。

常见错误现象:AttributeError: Can't get attribute 'XXX' on <module></module> —— 这往往是因为反序列化时模块路径变了,但更危险的是没报错、静默执行了恶意逻辑。

  • 永远不用 pickle.load() 或 pickle.loads() 处理来源不明的数据
  • 内部服务间短生命周期通信(如 Celery 任务参数)可谨慎使用,但需确保 worker 和 producer 共享完全一致的代码版本
  • 替代方案优先选 json + 自定义编码器,或 msgpack(需禁用 ext types)

如何安全地序列化带方法/状态的自定义类

Python 默认不支持把实例方法、闭包、线程锁等序列化,pickle 能存,但依赖模块导入路径和类定义一致性;json 直接报 TypeError: Object of type XXX is not JSON serializable。

实操建议:别试图序列化“行为”,只序列化“数据”。用 __getstate__ 显式控制哪些字段参与序列化:

立即学习“Python免费学习笔记(深入)”;

class CacheEntry:
    def __init__(self, key, value, ttl=300):
        self.key = key
        self.value = value
        self.ttl = ttl
        self._created_at = time.time()  # 不保存
        self._lock = threading.Lock()    # 不保存
<pre class='brush:python;toolbar:false;'>def __getstate__(self):
    state = self.__dict__.copy()
    state.pop('_lock', None)
    state.pop('_created_at', None)
    return state

Python Dependency Candidate Fetcher 2
Python Dependency Candidate Fetcher 2

根据包的能力以及 Jupyter 环境中的导入语句,从候选列表中挑选最适合用户表格工作流的 Python 包。

下载
  • 避免在 __getstate__ 中返回可变对象引用(如 dict 的浅拷贝仍共享嵌套 list)
  • 若必须恢复复杂状态(如重连数据库连接),在 __setstate__ 中惰性重建,而非存连接对象本身
  • 测试时用 assert hasattr(obj, '_lock') 验证反序列化后是否缺失预期属性

json 序列化 datetime / bytes / Decimal 的兼容写法

json.dumps() 默认不认 datetime、bytes、Decimal,硬转会抛 TypeError。不能靠 default=str 一招鲜——str(datetime(2023,1,1)) 是 '2023-01-01 00:00:00',但反序列化时得靠业务逻辑再 parse,易出错。

推荐用显式转换 + 统一协议:

  • datetime → ISO 格式字符串:dt.isoformat(),反序列化用 datetime.fromisoformat()(注意时区)
  • bytes → base64 编码:base64.b64encode(b'data').decode('ascii'),反序列化用 base64.b64decode(s)
  • Decimal → float 或 str:金融场景必须用 str(d),避免浮点精度丢失

封装成可复用的 encoder:

class SafeJSONEncoder(json.JSONEncoder):
    def default(self, obj):
        if isinstance(obj, datetime):
            return obj.isoformat()
        if isinstance(obj, bytes):
            return base64.b64encode(obj).decode('ascii')
        if isinstance(obj, Decimal):
            return str(obj)
        return super().default(obj)

性能敏感场景下 msgpack 和 protobuf 怎么选

msgpack 是 json 的二进制替代,无需预定义 schema,但不跨语言安全;protobuf 需先写 .proto 文件,生成代码,但体积小、解析快、天然支持多语言。

选型关键点:

  • 纯 Python 内部通信(如 Redis 缓存)、且结构简单 → 用 msgpack.packb(obj, strict_types=True),开 strict_types 避免自动转 int/float
  • 要和 Go/Java 服务交互,或字段频繁增减 → 必须上 protobuf,用 optional 字段和 oneof 控制演进
  • 别用 msgpack 存 numpy.ndarray:默认会转成 list,巨慢;改用 msgpack_numpy 插件或直接 np.save 到 BytesIO

容易被忽略的是时间戳处理:msgpack 默认把 datetime 打包成带时区的 int(秒数),但 Python 客户端反解可能丢时区;protobuf 推荐用 google.protobuf.Timestamp,语义明确。

热门AI工具

更多
火山引擎

火山引擎是一款面向企业的云计算与AI服务平台。

蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

Flowith
Flowith Hot

Flowith是一款基于画布和智能体工作流的 AI 协作工作空间。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

切问学术

切问学术是一款AI论文写作工具,复旦大学NLP团队推出的AI学术智能体。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

相关专题

更多
json数据格式
json数据格式

JSON是一种轻量级的数据交换格式。本专题为大家带来json数据格式相关文章,帮助大家解决问题。

2255

2023.08.07

json是什么
json是什么

JSON是一种轻量级的数据交换格式,具有简洁、易读、跨平台和语言的特点,JSON数据是通过键值对的方式进行组织,其中键是字符串,值可以是字符串、数值、布尔值、数组、对象或者null,在Web开发、数据交换和配置文件等方面得到广泛应用。本专题为大家提供json相关的文章、下载、课程内容,供大家免费下载体验。

3662

2023.08.23

jquery怎么操作json
jquery怎么操作json

操作的方法有:1、“$.parseJSON(jsonString)”2、“$.getJSON(url, data, success)”;3、“$.each(obj, callback)”;4、“$.ajax()”。更多jquery怎么操作json的详细内容,可以访问本专题下面的文章。

1216

2023.10.13

go语言处理json数据方法
go语言处理json数据方法

本专题整合了go语言中处理json数据方法,阅读专题下面的文章了解更多详细内容。

4219

2025.09.10

css中float用法
css中float用法

css中float属性允许元素脱离文档流并沿其父元素边缘排列,用于创建并排列、对齐文本图像、浮动菜单边栏和重叠元素。想了解更多float的相关内容,可以阅读本专题下面的文章。

7327

2024.04.28

C++中int、float和double的区别
C++中int、float和double的区别

本专题整合了c++中int和double的区别,阅读专题下面的文章了解更多详细内容。

864

2025.10.23

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

1878

2023.08.03

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

3024

2023.09.04

DBeaver怎么导入数据
DBeaver怎么导入数据

DBeaver数据导入专题,整理Excel、CSV、SQL、TXT等常见文件的数据导入方法,涵盖目标数据库选择、数据表创建、字段映射、数据类型设置及导入参数配置等操作,帮助用户将本地文件中的数据写入数据库,并了解批量导入、重复数据处理和导入失败等常见问题的解决方法。

0

2026.11.05

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn