讲师中心 微信公众号
AI工具推荐 视频效率加速

Python atomic 操作的多种方案对比

酷敏君_5759

酷敏君_5759

发布时间:2026-02-15 18:14:02

|

408人浏览过

|

来源于php中文网

原创

Python中无真正原子操作,int/list/dict等类型的操作在字节码层面非原子,GIL不保证线程安全;需用threading.Lock或asyncio.Lock显式同步,多进程则需Manager或消息传递。

python atomic 操作的多种方案对比

Python 里没有真正的 atomic 操作

Python 的 int、list、dict 等内置类型,哪怕看起来是“单行赋值”,在字节码层面也往往拆成多步(LOAD、STORE、BINARY_SUBSCR 等),CPython 的 GIL 只能保证某些简单操作的原子性(比如对全局变量的读写),但不等于线程安全。你写的 x += 1 在多线程下大概率出错,这不是“没加锁”的问题,而是它本身就不是原子的。

常见错误现象:threading.Thread 并发跑 100 次 counter += 1,最终结果远小于 100;用 queue.Queue 却手动去 len(my_list) 判断再 pop(0),引发 IndexError。

  • +=、append()、pop()、del d[key] 这些都不是原子操作,别凭直觉认为“一行代码=一个不可打断的动作”
  • GIL 不是锁,它只防止多线程同时执行 Python 字节码,但无法保护你程序逻辑上的临界区
  • 真正需要原子语义的地方(如计数器、状态切换、资源分配),必须显式同步

threading.Lock 是最常用也最可靠的方案

90% 的场景下,用 threading.Lock 就够了。它开销小、语义清晰、跨平台稳定,且不会引入死锁以外的隐藏行为。

使用场景:共享变量更新(计数器、缓存状态)、文件写入、数据库连接池借用/归还等需要排他访问的环节。

立即学习“Python免费学习笔记(深入)”;

  • 务必用 with lock: 语法,避免忘记 release() 导致死锁;裸调 lock.acquire() 很容易漏掉异常路径
  • 不要在锁内做耗时操作(如 HTTP 请求、大文件读写),否则其他线程会长时间阻塞
  • 多个锁嵌套时注意顺序,否则可能触发死锁;优先考虑能否合并为一个锁,或改用 threading.RLock

示例:

Python Hardener
Python Hardener

通过完整的安全审查、代码整洁重构、健壮的错误处理、正确的日志记录以及完整的文档字符串覆盖,强化 Python 脚本。

下载
counter = 0
lock = threading.Lock()
<p>def increment():
global counter
with lock:  # 进入即 acquire,退出自动 release
counter += 1  # 这里才真正安全

asyncio 中不能用 threading.Lock,得换 asyncio.Lock

在 asyncio 协程环境里,threading.Lock 会直接阻塞整个事件循环——因为它是基于操作系统线程原语的,而协程是用户态调度。你 await 的不是锁,是线程挂起,这会让所有协程卡住。

常见错误现象:用 threading.Lock 包裹 await aiohttp.get(...),结果整个服务变慢甚至无响应;或者误以为 asyncio.Lock 和 threading.Lock 可以混用。

  • asyncio.Lock 必须用 async with lock:,不是 with
  • 它只在同一个事件循环内有效;跨 loop(比如多进程启动多个 event loop)需用进程间通信替代
  • 不要在 async with lock: 块里调用阻塞函数(如 time.sleep()、requests.get()),否则同样拖垮 loop

示例:

import asyncio
lock = asyncio.Lock()
counter = 0
<p>async def increment():
global counter
async with lock:
counter += 1  # 安全

atomic 操作的边界:multiprocessing 里要换思路

多进程之间内存不共享,threading.Lock 和 asyncio.Lock 都无效。你不能靠“加锁”让两个进程原子地修改同一块内存——它们压根看不到彼此的内存地址。

使用场景:CPU 密集型任务分发、并行数据处理、模型推理服务等需要真正并行的场合。

  • 用 multiprocessing.Manager() 提供的 Value、Array、dict 等代理对象,底层带进程间同步,但性能较差
  • 更高效的做法是避免共享状态:每个进程维护本地状态,最后由主进程聚合;或用 multiprocessing.Queue / pipe 显式传递数据
  • multiprocessing.Lock 只能保护进程内共享内存(如 mmap 或 shared_memory),不是万能的,且 Windows 上行为略有差异

容易被忽略的一点:concurrent.futures.ProcessPoolExecutor 默认不共享任何状态,传参和返回值都会序列化,看似“安全”,但如果你在 worker 函数里偷偷改了模块级变量,那只是改了那个子进程自己的副本——这种“假共享”比真竞争更难 debug。

热门AI工具

更多
WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

PixTV
PixTV Hot

PixTV是一款面向AIGC内容创作的AI视频生成工具。

超级简历WonderCV

一款AI办公效率工具,主要用于免费求职简历模版下载制作,应届生职场人必备简历制作神器,适合需要提升相关任务效率的用户。

讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

相关专题

更多
全局变量怎么定义
全局变量怎么定义

本专题整合了全局变量相关内容,阅读专题下面的文章了解更多详细内容。

5125

2025.09.18

python 全局变量
python 全局变量

本专题整合了python中全局变量定义相关教程,阅读专题下面的文章了解更多详细内容。

2170

2025.09.18

c++ 全局变量
c++ 全局变量

本专题整合了c++全局变量的使用、定义、作用域等等内容,阅读专题下面的文章了解更多详细内容。

199

2026.03.17

string转int
string转int

在编程中,我们经常会遇到需要将字符串(str)转换为整数(int)的情况。这可能是因为我们需要对字符串进行数值计算,或者需要将用户输入的字符串转换为整数进行处理。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

7219

2023.08.02

int占多少字节
int占多少字节

int占4个字节,意味着一个int变量可以存储范围在-2,147,483,648到2,147,483,647之间的整数值,在某些情况下也可能是2个字节或8个字节,int是一种常用的数据类型,用于表示整数,需要根据具体情况选择合适的数据类型,以确保程序的正确性和性能。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

3445

2024.08.29

c++怎么把double转成int
c++怎么把double转成int

本专题整合了 c++ double相关教程,阅读专题下面的文章了解更多详细内容。

4508

2025.08.29

C++中int的含义
C++中int的含义

本专题整合了C++中int相关内容,阅读专题下面的文章了解更多详细内容。

3045

2025.08.29

线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

4698

2023.08.10

Postman身份认证怎么配置
Postman身份认证怎么配置

本专题从实际API接口调试场景出发,讲解Postman身份认证的完整配置流程,包括常见认证协议介绍、授权参数设置、访问令牌填写、OAuth 2.0授权及认证失败排查,帮助用户正确完成接口授权与访问验证。

0

2026.11.06

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn