Python字典本身不线程安全,GIL无法保障其并发读写安全;threading.RLock易误用且粒度粗;manager.dict()虽安全但性能差、限制多;高并发应重构设计,如队列解耦、分片锁或写时复制。

Python字典本身不线程安全,加锁只是手段,不是默认保障
直接用 dict 在多线程下读写,哪怕只改一个 shared_dict['x'] = 1,也可能崩溃或丢数据。CPython 的 GIL 只保原子字节码,而字典的插入、扩容、哈希查找等操作跨多个字节码,dict 类型在官方文档中明确标注为「not thread-safe for mutation」。你不能依赖 GIL 来保护它。
threading.RLock 不是银弹,常见误用比不加锁更危险
threading.RLock 允许同一线程重复 acquire,适合 setdefault() 或嵌套调用场景,但它不解决根本问题:
- 锁粒度太大:整个函数包进
with rlock:,读操作也被阻塞,吞吐暴跌 - TOCTOU 漏洞:比如
if key not in d:判断没加锁,紧接着d[key] = val加了锁,中间已被其他线程插入,结果覆盖或 KeyError - 值对象逃逸:锁只护住字典结构,
shared_dict['cfg']['timeout'] = 5中的shared_dict['cfg']是另一个 dict,它本身没锁,照样竞态
优先考虑 manager.dict(),但得清楚它的代价
用 multiprocessing.Manager().dict() 创建的字典,底层通过代理 + 进程间通信(IPC)实现同步,天然支持多线程/多进程共享,且自动处理所有操作的原子性:
from multiprocessing import Manager
from threading import Thread
<p>with Manager() as mgr:
d = mgr.dict()
def writer():
d['a'] = 42
t = Thread(target=writer)
t.start()
t.join()
print(d) # {'a': 42},安全
但它有明显代价:
立即学习“Python免费学习笔记(深入)”;
- 每次访问都序列化/反序列化,性能比原生
dict低 10–100 倍 - 不支持任意类型键(如自定义类实例),仅限 pickleable 类型
- 无法直接用于
for k in d:迭代——必须先转成list(d.keys()),否则可能报RuntimeError: dictionary changed size during iteration
真正高并发场景,别死磕单个共享 dict
如果你的场景是「每秒数千次写入 + 百万级 key」,硬靠锁或 manager.dict() 会成为瓶颈。这时应转向设计层面重构:
- 用
queue.Queue做生产者-消费者解耦:所有写请求入队,单个线程消费并更新本地dict,读走快照(dict.copy()) - 按 key 分片:比如用
hash(key) % N分到 N 个带独立锁的子 dict,降低锁争用 - 读多写少时,用写时复制(copy-on-write):更新时
new_d = old_d.copy(); new_d[key] = val; old_d = new_d,读永远无锁,但注意引用计数和内存开销
最常被忽略的一点:没有「通用线程安全 dict」这回事。安全与否,取决于你如何用——锁的范围、值的可变性、迭代方式、是否容忍短暂陈旧读,每个细节都会让“安全”二字失效。


















