讲师中心 微信公众号
AI工具推荐 视频效率加速

Python Barrier 在异步任务同步中的作用

落静吖_5613

落静吖_5613

发布时间:2026-02-17 14:28:02

|

961人浏览过

|

来源于php中文网

原创

asyncio 中没有原生 Barrier,因 threading.Barrier 依赖线程阻塞,与协程模型冲突;推荐用 asyncio.Event(配合计数)或 asyncio.Semaphore+Event 组合模拟,Python 3.12+ 的 asyncio.Barrier 尚未公开,trio.Barrier 是更优替代但需切换运行时。

python barrier 在异步任务同步中的作用

Barrier 在 asyncio 里根本不能用

Python 标准库的 threading.Barrier 是为多线程设计的,它内部依赖线程阻塞(比如 wait() 会挂起当前线程),而 asyncio 的协程不能在线程阻塞点暂停——一旦调用,直接抛出 RuntimeError: cannot wait on a thread-blocking object in an async context。这不是配置问题,是模型冲突。

常见错误现象:await barrier.wait() 报错;或误以为加了 async 就能包装成协程,结果发现 Barrier 类本身没提供异步接口。

  • 别试图给 threading.Barrier 加 loop.run_in_executor 包装——开销大、状态难同步、竞态更隐蔽
  • 不要查 “asyncio Barrier” 然后抄到旧版第三方库(如早期 aiostream 的实验性实现),它们大多已弃用或不兼容 Python 3.11+
  • 真正需要的是协程原生可等待的同步原语,不是线程原语的“翻译”

asyncio.Event 是最常用的替代方案

asyncio.Event 不是“等所有任务到达”,而是“等某个条件被设为 True”,但它足够灵活,能模拟 Barrier 行为:让 N 个协程都 await event.wait(),第 N 个协程负责 event.set(),再立刻 event.clear() 为下一轮准备。

使用场景:多个异步任务必须齐步进入下一阶段(比如批量采集后统一解析、分布式 worker 等待 leader 发号施令)。

立即学习“Python免费学习笔记(深入)”;

性能影响很小,Event 是纯协程对象,无系统调用,无锁竞争;但要注意手动计数和重置逻辑,否则容易漏清或重复触发。

python-script-generator
python-script-generator

快速生成专业的 Python 脚本和应用代码。一键创建完整项目结构,支持CLI、API、爬虫、Bot、Django等多种项目类型,包含完整的项目结构、配置文件、依赖管理、测试、README和文档。

下载
# 示例:等待 3 个协程全部就绪
import asyncio
<p>counter = 0
total = 3
ready_event = asyncio.Event()</p><p>async def worker(name):
global counter
print(f"{name} ready")
counter += 1
if counter == total:
ready_event.set()
await ready_event.wait()
print(f"{name} proceeds")</p><h1>启动三个 worker,它们会在全部打印 ready 后才继续</h1>

需要严格计数?用 asyncio.Semaphore + asyncio.Event 组合

asyncio.Semaphore 控制并发数,asyncio.Event 控制同步点——两者组合才能安全实现“N 个协程同时通过一个关卡”。单独用 Semaphore 只能限流,无法保证“全部到达后才一起走”。

容易踩的坑:Semaphore 的 acquire() 是协程方法,必须 await;但它的计数是“进入关卡”,不是“离开”,所以需额外变量跟踪完成数,或用 asyncio.Queue 收集信号。

  • 别在 finally 块里盲目 release() ——如果协程因异常退出,可能破坏计数
  • 避免用全局变量做计数器,跨 task 不安全;推荐用闭包或类封装状态
  • Python 3.12+ 提供了 asyncio.Barrier(仍在 asyncio._core 内部,未公开),别依赖它

第三方方案:trio 的 Barrier 更接近直觉

如果你能切换运行时,trio 库的 trio.Barrier 是真正为协程设计的:构造时指定数量,每个协程调用 await barrier.wait(),自动阻塞直到全部到达,然后全部唤醒。它内部用结构化并发模型保证原子性和取消安全。

兼容性注意:trio 和 asyncio 不兼容,不能混用;且 trio 需要自己的事件循环(trio.run),替换成本较高。仅当项目已重度依赖 trio 或对同步语义要求极严时才考虑。

关键差异:trio.Barrier 的 wait() 返回整数序号(谁先到谁是 0),可用于选举 leader;而 asyncio 方案得自己实现。

真正麻烦的不是“怎么写同步逻辑”,而是判断哪些地方**必须同步**——很多所谓“等全部完成”的需求,其实用 asyncio.gather() 就够了;只有当“全部到达”和“全部出发”之间存在中间状态(比如修改共享变量、发心跳、触发回调),才需要 Barrier 级别的协调。这个边界,比语法更难拿捏。

热门AI工具

更多
UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

AionClaw
AionClaw Hot

AionClaw是一款面向办公、创作和编程任务的AI桌面智能体。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

PixPix
PixPix Hot

PixPix是一款面向电商视觉生产的AI商品图生成工具。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

相关专题

更多
什么是分布式
什么是分布式

分布式是一种计算和数据处理的方式,将计算任务或数据分散到多个计算机或节点中进行处理。本专题为大家提供分布式相关的文章、下载、课程内容,供大家免费下载体验。

1953

2023.08.11

分布式和微服务的区别
分布式和微服务的区别

分布式和微服务的区别在定义和概念、设计思想、粒度和复杂性、服务边界和自治性、技术栈和部署方式等。本专题为大家提供分布式和微服务相关的文章、下载、课程内容,供大家免费下载体验。

2794

2023.10.07

全局变量怎么定义
全局变量怎么定义

本专题整合了全局变量相关内容,阅读专题下面的文章了解更多详细内容。

4085

2025.09.18

python 全局变量
python 全局变量

本专题整合了python中全局变量定义相关教程,阅读专题下面的文章了解更多详细内容。

1690

2025.09.18

c++ 全局变量
c++ 全局变量

本专题整合了c++全局变量的使用、定义、作用域等等内容,阅读专题下面的文章了解更多详细内容。

199

2026.03.17

硬盘接口类型介绍
硬盘接口类型介绍

硬盘接口类型有IDE、SATA、SCSI、Fibre Channel、USB、eSATA、mSATA、PCIe等等。详细介绍:1、IDE接口是一种并行接口,主要用于连接硬盘和光驱等设备,它主要有两种类型:ATA和ATAPI,IDE接口已经逐渐被SATA接口;2、SATA接口是一种串行接口,相较于IDE接口,它具有更高的传输速度、更低的功耗和更小的体积;3、SCSI接口等等。

3088

2023.10.19

PHP接口编写教程
PHP接口编写教程

本专题整合了PHP接口编写教程,阅读专题下面的文章了解更多详细内容。

4549

2025.10.17

php8.4实现接口限流的教程
php8.4实现接口限流的教程

PHP8.4本身不内置限流功能,需借助Redis(令牌桶)或Swoole(漏桶)实现;文件锁因I/O瓶颈、无跨机共享、秒级精度等缺陷不适用高并发场景。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

3729

2025.12.29

LLVM自定义Pass怎么写
LLVM自定义Pass怎么写

本专题聚焦LLVM自定义Pass开发,整理Pass类结构、run()方法、PreservedAnalyses、CMake构建、插件注册、-load-pass-plugin加载和测试用例编写流程。

80

2026.09.30

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn