讲师中心 微信公众号
AI工具推荐 视频效率加速

Python 异步任务并发与顺序控制

小杰同学_4622

小杰同学_4622

发布时间:2026-01-30 20:36:48

|

905人浏览过

|

来源于php中文网

原创

asyncio.gather()保持结果顺序且默认失败即停,适合全成功场景;asyncio.wait()返回完成/未完成任务集,适合监听状态变化或竞速响应。

python 异步任务并发与顺序控制

asyncio.gather() 和 asyncio.wait() 的核心区别

用 asyncio.gather() 还是 asyncio.wait(),取决于你是否需要结果顺序、是否容忍单个任务失败、以及是否要提前响应完成事件。

asyncio.gather() 默认保持输入协程的执行顺序,并按原序返回结果;任一任务抛出异常会立即中断全部(除非传 return_exceptions=True)。适合“全成功才继续”的聚合场景。

asyncio.wait() 不保证返回顺序,只返回已完成和未完成的 Task 集合;它更适合监听状态变化,比如“只要有一个完成就处理”,或需区分 done 与 pending 后分别调度。

  • 需要结果和调用顺序严格对应 → 选 gather()
  • 要实现超时后取消剩余任务 → wait(..., timeout=5) 更直接
  • 想对第一个完成的任务做响应(如竞速请求)→ wait(..., return_when=asyncio.FIRST_COMPLETED)
  • gather() 内部其实也基于 wait() 实现,但封装了结果整理逻辑

控制并发数量:避免 asyncio.create_task() 无节制启动

直接对几百个 URL 调用 asyncio.create_task() 并发发起 HTTP 请求,大概率触发连接池耗尽、服务端限流或本地文件描述符不足(OSError: [Errno 24] Too many open files)。

立即学习“Python免费学习笔记(深入)”;

正确做法是用信号量(asyncio.Semaphore)或任务队列限流:

Browser Session Manager
Browser Session Manager

使用 Playwright 为 jimeng.jianying.com 管理浏览器会话,导入 cookies/localStorage 以自动化视频生成工作流,支持图片上传等功能

下载
sem = asyncio.Semaphore(10)  # 最多 10 个并发
<p>async def fetch(url):
async with sem:  # 进入前等待,超出则阻塞
return await aiohttp.ClientSession().get(url)
  • 别把 Semaphore 放在循环外却忘了 async with —— 它不是装饰器,不自动生效
  • 若用 asyncio.to_thread() 包裹 CPU 密集型操作,同样需要限流,否则线程数爆炸
  • 某些库(如 aiohttp)自带连接池限制(connector=TCPConnector(limit=100)),但这是传输层限制,和业务逻辑层的语义并发控制不等价

强制顺序执行:什么时候不该用 async/await

如果一组操作天然存在强依赖(例如:先登录 → 拿到 token → 用 token 请求数据 → 用数据提交表单),强行拆成并发任务只会引入竞态、重复登录或 token 过期错误。

此时应放弃“看起来快”,老老实实写成串行 await 链:

token = await login()
data = await fetch_with_token(token)
result = await submit(data)
  • 不要为了“统一用 async”而把同步函数包装成 await asyncio.to_thread(...) 再塞进并发池——这反而增加调度开销
  • 数据库事务、文件写入、状态机推进等场景,顺序性是正确性的前提,不是性能瓶颈的来源
  • 可以用 asyncio.Lock() 保护共享状态,但锁本身会削弱并发收益;真需要顺序,不如不并发

asyncio.run() 的隐藏约束与嵌套陷阱

asyncio.run() 只能被最外层调用一次,且会创建并关闭全新的事件循环。在已有运行中的 loop 里再调用它,会报 RuntimeError: asyncio.run() cannot be called from a running event loop。

常见于:Jupyter notebook、FastAPI 路由、或已用 loop.run_until_complete() 启动的脚本中二次调用 run()。

  • 在非主模块或框架内,改用 asyncio.create_task() 或显式获取当前 loop:asyncio.get_running_loop().create_task(...)
  • Jupyter 中推荐用 await 直接执行协程,而不是包一层 asyncio.run()
  • 测试异步函数时,用 pytest-asyncio 插件比手动 run() 更可靠,它能管理 loop 生命周期

并发控制的难点不在语法,而在识别哪些依赖不可打破、哪些资源有隐式上限、以及何时该主动放弃“并发幻觉”。这些判断没法靠工具自动完成。

热门AI工具

更多
UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

音述AI
音述AI Hot

一款AI音频处理工具,主要用于音述AI是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

PixTV
PixTV Hot

PixTV是一款面向AIGC内容创作的AI视频生成工具。

Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

相关专题

更多
Python FastAPI异步API开发_Python怎么用FastAPI构建异步API
Python FastAPI异步API开发_Python怎么用FastAPI构建异步API

Python FastAPI 异步开发利用 async/await 关键字,通过定义异步视图函数、使用异步数据库库 (如 databases)、异步 HTTP 客户端 (如 httpx),并结合后台任务队列(如 Celery)和异步依赖项,实现高效的 I/O 密集型 API,显著提升吞吐量和响应速度,尤其适用于处理数据库查询、网络请求等耗时操作,无需阻塞主线程。

119

2025.12.22

Python 微服务架构与 FastAPI 框架
Python 微服务架构与 FastAPI 框架

本专题系统讲解 Python 微服务架构设计与 FastAPI 框架应用,涵盖 FastAPI 的快速开发、路由与依赖注入、数据模型验证、API 文档自动生成、OAuth2 与 JWT 身份验证、异步支持、部署与扩展等。通过实际案例,帮助学习者掌握 使用 FastAPI 构建高效、可扩展的微服务应用,提高服务响应速度与系统可维护性。

574

2026.02.06

Python Web框架FastAPI 全栈开发教程合集
Python Web框架FastAPI 全栈开发教程合集

以 FastAPI 为核心,讲解现代 Python Web API 的高效开发方式,涵盖路由定义与路径参数/查询参数/请求体绑定、Pydantic 模型的数据校验与序列化、依赖注入(Depends)系统的分层设计、中间件与 CORS 配置、OAuth2 + JWT 认证流程、后台任务(BackgroundTasks)、WebSocket 实时通信、SQLAlchemy 异步 ORM 集成、自动生成 OpenAPI/Swagger 交互文

676

2026.05.09

Python FastAPI异步微服务与高性能接口设计
Python FastAPI异步微服务与高性能接口设计

本专题聚焦 Python FastAPI 框架在高性能接口与微服务开发中的应用,讲解异步请求处理、依赖注入机制、路由设计、数据库异步操作以及接口性能优化策略。结合实际项目案例,帮助开发者构建高并发、低延迟的现代化后端服务架构。

579

2026.06.16

登录token无效
登录token无效

登录token无效解决方法:1、检查token的有效期限,如果token已经过期,需要重新获取一个新的token;2、检查token的签名,如果签名不正确,需要重新获取一个新的token;3、检查密钥的正确性,如果密钥不正确,需要重新获取一个新的token;4、使用HTTPS协议传输token,建议使用HTTPS协议进行传输 ;5、使用双因素认证,双因素认证可以提高账户的安全性。

14626

2023.09.14

登录token无效怎么办
登录token无效怎么办

登录token无效的解决办法有检查Token是否过期、检查Token是否正确、检查Token是否被篡改、检查Token是否与用户匹配、清除缓存或Cookie、检查网络连接和服务器状态、重新登录或请求新的Token、联系技术支持或开发人员等。本专题为大家提供token相关的文章、下载、课程内容,供大家免费下载体验。

1725

2023.09.14

token怎么获取
token怎么获取

获取token值的方法:1、小程序调用“wx.login()”获取 临时登录凭证code,并回传到开发者服务器;2、开发者服务器以code换取,用户唯一标识openid和会话密钥“session_key”。想了解更详细的内容,可以阅读本专题下面的文章。

4057

2023.12.21

token什么意思
token什么意思

token是一种用于表示用户权限、记录交易信息、支付虚拟货币的数字货币。可以用来在特定的网络上进行交易,用来购买或出售特定的虚拟货币,也可以用来支付特定的服务费用。想了解更多token什么意思的相关内容可以访问本专题下面的文章。

6221

2024.03.01

Vite 项目如何打包和部署
Vite 项目如何打包和部署

Vite项目打包部署专题汇集生产构建、产物预览、输出目录、资源路径、Nginx与GitHub Pages部署及常见白屏和路由404问题的已审核文章,帮助读者完成上线流程。

100

2026.10.28

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Uvicorn官方安装与入门手册
Uvicorn官方安装与入门手册

共0课时 | 0人学习

Python uv官方项目管理指南
Python uv官方项目管理指南

共0课时 | 0人学习

Python uv官方安装与入门文档
Python uv官方安装与入门文档

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn