讲师中心 微信公众号

工具推荐

视频效率加速
Laper
Laper

剧本策划到成片协作

剧云
剧云

中文短剧剧本制作平台

Seko
Seko

AI短剧一键生成成片

updream

一键生成高质量推广成片

Python 协程池的自定义实现思路

轻丽小哥_9816

轻丽小哥_9816

发布时间:2026-02-23 17:35:15

|

272人浏览过

|

来源于php中文网

原创

asyncio没有现成协程池因其只负责调度而不限制并发数,需用asyncio.Semaphore手动控制并发上限,避免压垮下游服务;错误使用会导致TimeoutError、503增多或连接池耗尽。

python 协程池的自定义实现思路

为什么 asyncio 没有现成的协程池

因为 asyncio 本身不提供“池化”抽象——它只管调度,不负责限制并发数。你直接用 asyncio.gather() 或 asyncio.create_task() 丢一堆协程进去,很容易压垮下游服务或触发限流。真正的“协程池”得靠你自己控制同时运行的协程数量。

常见错误现象:asyncio.TimeoutError 频发、HTTP 503 响应突增、数据库连接池耗尽,但日志里看不到明显异常——其实是并发量失控了。

关键点:协程不是线程,不能靠 threading.Semaphore 或 multiprocessing.Pool 套用;必须用 asyncio.Semaphore 配合任务提交/等待逻辑来模拟池行为。

用 asyncio.Semaphore 实现最小可行池

核心就是用一个信号量(asyncio.Semaphore)卡住并发上限,每个协程执行前先 acquire(),结束后 release()。不需要复杂类封装,几行就能跑起来。

立即学习“Python免费学习笔记(深入)”;

  • 初始化时传入最大并发数,比如 sem = asyncio.Semaphore(10)
  • 每个待执行协程包装成 async def worker(): await sem.acquire(); try: return await your_coro() finally: sem.release()
  • 别用 await sem.acquire() 后忘写 finally ——一旦协程抛异常没释放,池就“漏气”,后续任务全卡死
  • 注意:信号量是 per-event-loop 的,跨线程或跨 loop 会失效;多 loop 场景下得按 loop 实例分别建池

如何安全地提交任务并获取结果

直接 await 每个带信号量的协程会串行化,失去并发意义;必须用 asyncio.create_task() 并发启动,再统一 await 结果列表。

Python 环境工具专业版
Python 环境工具专业版

Python 环境工具专业版功能概述Python 环境工具专业版是一项面向实际任务的技能。它将相关步骤、工具调用和结果整理方式集中到统一流程中,帮助使用者更快完成目标并减少重复操作。核心要点使用时应结合输入条件选择合适的执行方式,核对必要参数、依赖环境与输出内容,并按原始要求处理异常情况。该技能适合需要稳定复用相关能力的场景,可作为自动化工作流的一部分,也便于后续检查、调整和扩展。执行完成后建议检查结果是否符合预期,并保留必要记录。使用与执行同时注意输入完整性、执行条件和输出可用性。从功能定位来看,该技能

下载

典型误用:results = [await run_with_semaphore(coro) for coro in coros] —— 这本质是顺序执行,只是加了锁,毫无意义。

正确做法:

tasks = []
for coro in coros:
    task = asyncio.create_task(run_with_semaphore(coro))
    tasks.append(task)
results = await asyncio.gather(*tasks, return_exceptions=True)

return_exceptions=True 很关键:否则一个协程出错,整个 gather 就中断,其余还在跑的任务结果全丢掉。

要不要封装成类?什么情况下真需要

如果你只需要控制并发数,函数级封装(比如一个 run_limited() 工具函数)完全够用。类封装只有在以下情况才值得投入:

  • 需要动态调整最大并发数(pool.set_limit(20)),且已有大量调用点
  • 要统计实时活跃任务数、排队长度,用于监控或熔断
  • 需支持取消正在排队但未开始执行的任务(这要求自己维护等待队列 + asyncio.CancelledError 处理)
  • 和 concurrent.futures.Executor 接口对齐,方便同步/异步代码混用

多数业务场景里,过度封装反而让调用方更难理解控制流——信号量在哪、谁负责 release、异常怎么透出,都藏在类里,出问题更难定位。

热门AI工具

更多
蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

超级麦吉

一款通过数字员工协作完成调研、数据分析与文档制作的AI办公平台。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

火山引擎

火山引擎是一款面向企业的云计算与AI服务平台。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

相关专题

更多
硬盘接口类型介绍
硬盘接口类型介绍

硬盘接口类型有IDE、SATA、SCSI、Fibre Channel、USB、eSATA、mSATA、PCIe等等。详细介绍:1、IDE接口是一种并行接口,主要用于连接硬盘和光驱等设备,它主要有两种类型:ATA和ATAPI,IDE接口已经逐渐被SATA接口;2、SATA接口是一种串行接口,相较于IDE接口,它具有更高的传输速度、更低的功耗和更小的体积;3、SCSI接口等等。

3248

2023.10.19

PHP接口编写教程
PHP接口编写教程

本专题整合了PHP接口编写教程,阅读专题下面的文章了解更多详细内容。

5529

2025.10.17

php8.4实现接口限流的教程
php8.4实现接口限流的教程

PHP8.4本身不内置限流功能,需借助Redis(令牌桶)或Swoole(漏桶)实现;文件锁因I/O瓶颈、无跨机共享、秒级精度等缺陷不适用高并发场景。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

3909

2025.12.29

java接口相关教程
java接口相关教程

本专题整合了java接口相关内容,阅读专题下面的文章了解更多详细内容。

506

2026.01.19

堆和栈的区别
堆和栈的区别

堆和栈的区别:1、内存分配方式不同;2、大小不同;3、数据访问方式不同;4、数据的生命周期。本专题为大家提供堆和栈的区别的相关的文章、下载、课程内容,供大家免费下载体验。

7107

2023.07.18

堆和栈区别
堆和栈区别

堆(Heap)和栈(Stack)是计算机中两种常见的内存分配机制。它们在内存管理的方式、分配方式以及使用场景上有很大的区别。本文将详细介绍堆和栈的特点、区别以及各自的使用场景。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

2908

2023.08.10

线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

4918

2023.08.10

数据库三范式
数据库三范式

数据库三范式是一种设计规范,用于规范化关系型数据库中的数据结构,它通过消除冗余数据、提高数据库性能和数据一致性,提供了一种有效的数据库设计方法。本专题提供数据库三范式相关的文章、下载和课程。

3225

2023.06.29

Go-Zero API开发使用教程
Go-Zero API开发使用教程

本专题聚焦Go-Zero的API开发,拆解.api描述文件的语法结构、路由与分组定义、参数绑定与校验规则,说明统一响应体、JWT鉴权、跨域与接口文档生成的落地方式,并给出网关聚合与接口测试的实践建议。

120

2026.11.12

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn