讲师中心 微信公众号
AI工具推荐 视频效率加速

Python 异步队列 asyncio.Queue 的应用

阿辰吖_1210

阿辰吖_1210

发布时间:2026-02-20 18:49:02

|

985人浏览过

|

来源于php中文网

原创

asyncio.Queue是Python中用于协程间安全传递数据的标准异步队列,支持生产者-消费者模型、并发限制、异常传递、超时控制及动态任务调度。

python 异步队列 asyncio.queue 的应用

如果您在使用 Python 编写高并发异步任务时需要安全地在协程间传递数据,则 asyncio.Queue 是 asyncio 提供的标准异步队列实现。以下是其典型应用场景与使用方式:

一、基本生产者-消费者模型

asyncio.Queue 专为协程环境设计,内部自动处理 await 等待逻辑,避免竞态条件,适用于多个协程并发读写场景。它支持 await queue.put() 和 await queue.get(),且具备阻塞式等待能力。

1、创建一个容量为 5 的异步队列:queue = asyncio.Queue(maxsize=5)

2、定义异步生产者协程,在循环中调用 await queue.put(item) 插入数据

立即学习“Python免费学习笔记(深入)”;

3、定义异步消费者协程,通过 await queue.get() 获取数据,并在处理完毕后调用 queue.task_done()

4、使用 await queue.join() 阻塞等待所有已放入队列的任务被消费者处理完成

二、限制并发数量的异步任务调度

通过控制队列容量与消费者数量,可硬性限制同时运行的异步任务数,防止资源耗尽或触发限流。队列充当缓冲区与节流阀双重角色。

1、初始化一个 maxsize=3 的队列:semaphore_queue = asyncio.Queue(maxsize=3)

2、每个待执行的异步任务先 await semaphore_queue.put(None) 占位

3、执行实际业务逻辑后,立即调用 semaphore_queue.get_nowait() 并 semaphore_queue.task_done()

4、启动固定数量(如 3 个)消费者协程持续从该队列取值,确保任意时刻最多 3 个任务处于活跃状态

三、跨协程传递异常与终止信号

asyncio.Queue 可承载任意 Python 对象,包括 Exception 实例或自定义哨兵对象,用于协调协程生命周期与错误传播。

1、定义哨兵值:STOP_SIGNAL = object()

Python 编程规范
Python 编程规范

Python 编程规范与最佳实践。强制 PEP 8 代码风格、语法校验、单元测试执行,适用于代码编写、审查和重构。触发词:Python、代码规范、py_compile、单元测试。

下载

2、生产者在完成数据生成后,向队列放入 await queue.put(STOP_SIGNAL)

3、消费者每次 await queue.get() 后判断是否为哨兵,若是则 break 退出循环

4、当需传递异常时,生产者可放入 await queue.put(RuntimeError("failed")),消费者捕获后重新抛出

四、带超时控制的数据获取

为避免协程无限等待队列数据,可结合 asyncio.wait_for 使用,对 get 操作施加时间约束,提升系统响应确定性。

1、准备队列并启动生产者协程填充数据

2、在消费者中使用:try: item = await asyncio.wait_for(queue.get(), timeout=2.0) except asyncio.TimeoutError: print("等待数据超时")

3、成功获取后必须调用 queue.task_done(),否则 join 将无法完成

4、timeout 值应根据业务延迟特征设定,不能设为 0 或负数

五、与 asyncio.create_task 配合实现动态工作流

利用 Queue 在运行时接收新任务描述,使工作流具备动态扩展能力,适用于事件驱动型异步服务。

1、启动主调度协程,持续 await queue.get() 获取任务配置字典

2、解析配置后调用 asyncio.create_task(worker_func(**config)) 启动子协程

3、子协程执行完毕后,将结果写入另一个输出队列:await result_queue.put(result)

4、主协程不等待子任务完成,仅负责分发;可通过额外协程监听 result_queue 收集汇总

热门AI工具

更多
讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

墨刀AI
墨刀AI Hot

一款AI图像与设计工具,主要用于产品经理的专属智能体,适合需要提升相关任务效率的用户。

小橡皮AI

一款AI工具,主要用于小橡皮一键去AI味,将机器味重的内容改得更有活人感,防止因为 AI 内容被平台打上 AI 标签,以及限流,适合需要提升相关任务效率的用户。

花生AI
花生AI Hot

一款AI视频创作工具,主要用于B站推出的AI视频创作工具,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

切问学术

切问学术是一款AI论文写作工具,复旦大学NLP团队推出的AI学术智能体。

讯飞智文

一款面向学习和办公场景的AI文档创作工具,可辅助生成PPT与Word文档,提高资料整理和内容制作效率。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

相关专题

更多
python中print函数的用法
python中print函数的用法

python中print函数的语法是“print(value1, value2, ..., sep=' ', end=' ', file=sys.stdout, flush=False)”。本专题为大家提供print相关的文章、下载、课程内容,供大家免费下载体验。

3320

2023.09.27

python print用法与作用
python print用法与作用

本专题整合了python print的用法、作用、函数功能相关内容,阅读专题下面的文章了解更多详细教程。

269

2026.02.03

java中break的作用
java中break的作用

本专题整合了java中break的用法教程,阅读专题下面的文章了解更多详细内容。

3180

2025.10.15

java break和continue
java break和continue

本专题整合了java break和continue的区别相关内容,阅读专题下面的文章了解更多详细内容。

847

2025.10.24

Postman身份认证怎么配置
Postman身份认证怎么配置

本专题从实际API接口调试场景出发,讲解Postman身份认证的完整配置流程,包括常见认证协议介绍、授权参数设置、访问令牌填写、OAuth 2.0授权及认证失败排查,帮助用户正确完成接口授权与访问验证。

0

2026.11.06

Postman请求头Headers怎么设置
Postman请求头Headers怎么设置

围绕Postman HTTP请求头配置展开,讲解Headers选项的具体使用方式,包括Key和Value参数填写、请求头信息添加、常见Header字段设置及请求头修改方法,帮助用户解决接口调试过程中遇到的请求头配置问题。

0

2026.11.06

Postman接口请求发送教程
Postman接口请求发送教程

详细介绍Postman接口请求的创建与发送方法,涵盖GET和POST请求、URL配置、请求参数、Headers请求头、Body请求体设置以及响应结果查看,帮助用户掌握Postman接口请求的完整操作流程。

0

2026.11.06

DBeaver怎么导入数据
DBeaver怎么导入数据

DBeaver数据导入专题,整理Excel、CSV、SQL、TXT等常见文件的数据导入方法,涵盖目标数据库选择、数据表创建、字段映射、数据类型设置及导入参数配置等操作,帮助用户将本地文件中的数据写入数据库,并了解批量导入、重复数据处理和导入失败等常见问题的解决方法。

20

2026.11.05

DBeaver安全防护教程大全
DBeaver安全防护教程大全

DBeaver安全防护专题,围绕数据库连接安全、账号密码保护和访问权限管理展开,整理SSL/TLS加密连接、SSH隧道、数据库凭据保存及证书验证等配置方法,同时介绍敏感信息保护、远程连接风险和高权限账号使用等注意事项,帮助用户提高数据库日常管理的安全性。

20

2026.11.05

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn