asyncio.Queue不可用list替代,因其协程安全、自动挂起空/满队列、避免busy-wait和背压失控;需并发启动producer/consumer,正确使用task_done()、join()和退出信号。

asyncio.Queue 为什么不能直接用 list 替代
因为 asyncio.Queue 是协程安全的,内部自带 put() 和 get() 的 awaitable 接口,并自动处理等待空队列/满队列的挂起逻辑。用普通 list + asyncio.Lock 手动实现,容易漏掉「消费者在空队列上持续 await」或「生产者未限流导致内存暴涨」这类问题。
关键点:
-
asyncio.Queue(maxsize=0)表示无上限,但实际中建议显式设值(如maxsize=100),防止背压失控 -
queue.get()在空时自动挂起当前 task,不消耗 CPU;而轮询list会变成 busy-wait - 多个 consumer 同时
await queue.get(),只会有一个拿到 item,无需额外同步
如何正确启动 producer 和 consumer 协程
别用 asyncio.run() 包一层就完事——那样 producer 和 consumer 是串行执行的。必须让它们并发运行,并且 consumer 要能持续取数直到明确结束信号。
实操要点:
立即学习“Python免费学习笔记(深入)”;
- 用
asyncio.create_task()启动多个 consumer,避免用await阻塞 - producer 结束后,要调用
queue.join()等待所有已入队任务被处理完,再用queue.task_done()配合 - consumer 内部不能只写
while True: item = await queue.get(),否则无法退出;推荐加 sentinel(如None)或用asyncio.Event控制生命周期
简单示例(带退出机制):
import asyncio
<p>async def producer(queue: asyncio.Queue, items):
for item in items:
await queue.put(item)
await asyncio.sleep(0.1) # 模拟耗时生产
await queue.put(None) # 发送结束信号</p><p>async def consumer(queue: asyncio.Queue, name):
while True:
item = await queue.get()
if item is None:
queue.task_done()
break
print(f"{name} got {item}")
await asyncio.sleep(0.2) # 模拟耗时消费
queue.task_done()</p><p>async def main():
q = asyncio.Queue(maxsize=5)
producers = [asyncio.create_task(producer(q, [1, 2, 3]))]
consumers = [asyncio.create_task(consumer(q, f"c{i}")) for i in range(2)]
await asyncio.gather(*producers)
await q.join() # 等待所有已入队 item 被 task_done()
maxsize 设置不当会导致什么现象
设成 0(无限)看似省心,但若生产速度远高于消费速度,队列会无限增长,最终 OOM;设得太小(如 1),则 producer 经常被 await queue.put() 挂起,吞吐骤降,还可能引发超时错误。
判断依据:
- 看单条数据平均处理耗时(consumer side latency)和生产间隔(producer side interval)比值
- 如果消费耗时是生产的 3 倍,
maxsize=3~5通常够用;若存在突发流量,可配合asyncio.wait_for(queue.put(...), timeout=2)做降级 - 注意:即使设了
maxsize,queue.qsize()在多 consumer 场景下也不可靠,仅作粗略监控用
为什么 consumer 必须调用 task_done()
queue.join() 的等待逻辑完全依赖 task_done() 调用次数是否等于 put() 次数。漏调、多调、在异常路径里没调,都会导致 join() 永不返回或提前返回。
安全写法:
- 把
queue.task_done()放在finally块里,确保无论是否异常都执行 - 不要在
get()后立刻task_done(),必须等消费逻辑真正完成(比如网络请求返回、文件写完) - 如果 consumer 抛出异常并退出,该 item 实际未被处理,但
task_done()没调,join()就卡住——这是最常被忽略的死锁点
所以真实项目里,更稳妥的是封装一层:
async def safe_consume(queue, handler):
while True:
item = await queue.get()
try:
await handler(item)
finally:
queue.task_done()
队列大小、task_done 的时机、退出信号的传递方式——这三处不细想,模型看着跑得通,压测一上来就卡死或丢数据。


















