讲师中心 微信公众号

工具推荐

视频效率加速
立刻MV
立刻MV

低成本歌曲 MV、视频生成

updream

一键生成高质量推广成片

Laper
Laper

剧本策划到成片协作

AniShort
AniShort

AI短剧协同制作平台

Python 缓存治理的工程化方法

落雪吖_1274

落雪吖_1274

发布时间:2026-02-14 21:39:23

|

864人浏览过

|

来源于php中文网

原创

优先选 @lru_cache(默认 maxsize=128),因 functools.cache 等价于 @lru_cache(maxsize=None),易致内存泄漏;禁用含 dict/list 参数的函数缓存;多进程下 cache_clear() 无效,应改用 Redis 等共享缓存。

python 缓存治理的工程化方法

缓存失效策略选 @lru_cache 还是 functools.cache?

@lru_cache 和 functools.cache 都能做函数级缓存,但行为差异直接影响线上稳定性。前者默认有容量上限(maxsize=128),后者等价于 @lru_cache(maxsize=None) —— 意味着无限增长,可能吃光内存。

常见错误现象:用 functools.cache 缓存带参数的数据库查询函数,参数组合多、生命周期长,几小时后 RSS 暴涨 2GB。

使用场景建议:

  • @lru_cache(maxsize=128):适合参数空间小、结果复用率高的纯计算(如解析固定格式字符串)
  • functools.cache:仅限参数极少且确定不会膨胀的场景(如单例工厂函数)
  • 绝对不要用于含 dict / list 参数的函数 —— 因为不可哈希,会直接抛 TypeError: unhashable type

如何安全地让缓存支持可变参数(比如 **kwargs)?

@lru_cache 原生不接受可变参数,直接加装饰器会报 TypeError: unhashable type: 'dict'。核心矛盾在于:缓存键必须是可哈希的,而 dict 和 list 不是。

立即学习“Python免费学习笔记(深入)”;

解决思路不是“绕过哈希”,而是“构造可哈希键”:

  • 把 **kwargs 转成排序后的 frozenset(items()),或序列化为 tuple(sorted(kwargs.items()))
  • 对 *args 中的列表/字典,用 json.dumps(arg, sort_keys=True) 转字符串再哈希(注意:仅限 JSON-safe 数据)
  • 更稳妥的做法是显式定义缓存键生成逻辑,不用自动推导

示例片段:

Biopython
Biopython

全面的分子生物学工具集。适用于序列操作、文件解析(FASTA/GenBank/PDB)、系统发育分析,以及通过 Bio.Entrez 以编程方式访问 NCBI/

下载
def cache_key(*args, **kwargs):
    return (args[0], frozenset(sorted(kwargs.items())))
@lru_cache(maxsize=100)
def expensive_call(_key, *ignored): ...
——把键逻辑抽出来,避免装饰器黑盒误判。

cache_clear() 在多线程下为什么没用?

cache_clear() 是线程安全的,但它只清调用方所在 Python 解释器中的缓存副本。在 gunicorn/uwsgi 多 worker 场景下,每个 worker 是独立进程,各自维护一份 @lru_cache 实例 —— 调一个 worker 的 cache_clear(),其他 worker 完全无感。

常见错误现象:后台触发了 cache_clear(),但用户请求仍返回旧数据,查日志发现只有主进程清了,子进程缓存岿然不动。

真正有效的做法:

  • 改用外部缓存(Redis)+ 主动失效机制,所有 worker 共享同一份缓存状态
  • 或改用进程间共享内存方案(如 multiprocessing.Manager + 自定义缓存容器),但复杂度陡增
  • 简单服务可考虑降级为“TTL 缓存”,用 time.time() 控制过期,不依赖清除动作

用 redis-py 做分布式缓存时,键名设计踩过哪些坑?

缓存键不是越详细越好,也不是越短越好。关键是“可预测性”和“可清理性”。

容易踩的坑:

  • 直接用原始参数拼接键名,比如 f"user:{user_id}:profile",但 user_id 是 UUID 或长整型时,键名过长且难以批量操作
  • 忘记对参数做标准化:同一语义的输入(如 "foo" 和 b"foo")生成不同键,导致缓存击穿
  • 没预留命名空间,后期想批量 FLUSHDB 或 KEYS user:*:profile 时发现键名混杂、无法收敛

推荐做法:

  • 所有键统一前缀 + 业务域 + 类型 + 标准化参数(如强制转小写、去空格、截断超长字段)
  • 示例:"cache:user:profile:v2:{str(user_id).zfill(10)}"
  • 关键参数必须经过 hashlib.md5() 或 base64.urlsafe_b64encode() 编码,避免特殊字符和长度失控
  • 所有缓存操作封装进类方法,禁止裸写 redis_client.get(...),否则键逻辑散落各处,治理无从谈起

缓存从来不是加个装饰器就完事的事。最麻烦的永远不在“怎么存”,而在“什么时候删”“删不删得干净”“删错了怎么办”。工程化治理的本质,是把不确定性变成可追踪、可审计、可灰度的动作。

热门AI工具

更多
Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

墨刀AI
墨刀AI Hot

一款AI图像与设计工具,主要用于产品经理的专属智能体,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

小橡皮AI

一款AI工具,主要用于小橡皮一键去AI味,将机器味重的内容改得更有活人感,防止因为 AI 内容被平台打上 AI 标签,以及限流,适合需要提升相关任务效率的用户。

PixPix
PixPix Hot

PixPix是一款面向电商视觉生产的AI商品图生成工具。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

相关专题

更多
什么是分布式
什么是分布式

分布式是一种计算和数据处理的方式,将计算任务或数据分散到多个计算机或节点中进行处理。本专题为大家提供分布式相关的文章、下载、课程内容,供大家免费下载体验。

2193

2023.08.11

分布式和微服务的区别
分布式和微服务的区别

分布式和微服务的区别在定义和概念、设计思想、粒度和复杂性、服务边界和自治性、技术栈和部署方式等。本专题为大家提供分布式和微服务相关的文章、下载、课程内容,供大家免费下载体验。

3694

2023.10.07

json数据格式
json数据格式

JSON是一种轻量级的数据交换格式。本专题为大家带来json数据格式相关文章,帮助大家解决问题。

2335

2023.08.07

json是什么
json是什么

JSON是一种轻量级的数据交换格式,具有简洁、易读、跨平台和语言的特点,JSON数据是通过键值对的方式进行组织,其中键是字符串,值可以是字符串、数值、布尔值、数组、对象或者null,在Web开发、数据交换和配置文件等方面得到广泛应用。本专题为大家提供json相关的文章、下载、课程内容,供大家免费下载体验。

3842

2023.08.23

jquery怎么操作json
jquery怎么操作json

操作的方法有:1、“$.parseJSON(jsonString)”2、“$.getJSON(url, data, success)”;3、“$.each(obj, callback)”;4、“$.ajax()”。更多jquery怎么操作json的详细内容,可以访问本专题下面的文章。

1276

2023.10.13

go语言处理json数据方法
go语言处理json数据方法

本专题整合了go语言中处理json数据方法,阅读专题下面的文章了解更多详细内容。

4459

2025.09.10

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

1938

2023.08.03

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

3184

2023.09.04

Go-Zero API开发使用教程
Go-Zero API开发使用教程

本专题聚焦Go-Zero的API开发,拆解.api描述文件的语法结构、路由与分组定义、参数绑定与校验规则,说明统一响应体、JWT鉴权、跨域与接口文档生成的落地方式,并给出网关聚合与接口测试的实践建议。

20

2026.11.12

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn