本文介绍一种基于 asyncio 协程与共享队列的动态下载调度方案，通过多工作协程实时检测磁盘剩余空间（如 ≥200gb），在满足条件时持续拉取并执行新下载任务，空间不足时自动停止入队、仅完成已启动任务，实现高效、安全的资源感知型异步下载。
本文介绍一种基于 asyncio 协程与共享队列的动态下载调度方案，通过多工作协程实时检测磁盘剩余空间（如 ≥200gb），在满足条件时持续拉取并执行新下载任务，空间不足时自动停止入队、仅完成已启动任务，实现高效、安全的资源感知型异步下载。
传统分块调用 asyncio.gather 的方式（如每批 100 个文件）存在明显瓶颈：必须等待整批全部完成才检查磁盘空间，易造成空间耗尽风险或下载停滞——既不及时响应空间变化，也无法充分利用并发潜力。
更优解是采用「固定数量工作者 + 共享任务队列」模型：启动固定数目的长期运行协程（例如 100 个 worker），每个 worker 循环从队列中取出一个待下载文件夹，执行下载，并在每次任务前后检查磁盘剩余空间。一旦剩余空间低于阈值（如 200 GB），worker 自动退出循环，不再拉取新任务；而所有已启动的下载任务仍会自然完成，无需中断或取消。
以下为完整可运行示例（使用 list 模拟轻量队列，生产环境推荐 asyncio.Queue）：
import asyncio
import numpy as np
import aiohttp
import aioshutil
LIMIT_BYTES = 200 * 10**9 # 200 GB
async def download_folder(folder, session):
# 示例：实际逻辑应包含 HTTP 请求、文件保存等
async with session.get(f"https://example.com/{folder}") as resp:
content = await resp.read()
# ... 保存到本地磁盘
return f"Downloaded {folder}"
async def worker(queue, session):
while queue and len(queue) > 0:
# 每次执行前检查空间
_, _, free = await aioshutil.disk_usage("/media/hdd")
if free < LIMIT_BYTES:
break # 空间不足，停止拉取新任务
folder = queue.pop() # LIFO：后进先出，避免 list.pop(0) 的 O(n) 开销
await download_folder(folder, session)
async def main(folders_to_download):
# 初始化任务队列（倒序便于 pop() 高效取）
queue = folders_to_download[::-1]
async with aiohttp.ClientSession() as session:
# 启动 100 个并发 worker
workers = [worker(queue, session) for _ in range(100)]
await asyncio.gather(*workers, return_exceptions=True)
print("All scheduled downloads completed.")
# 使用示例
# folders = ["folder1", "folder2", ..., "folderN"]
# asyncio.run(main(folders))✅ 关键设计说明：
- 队列操作优化：使用 queue.pop()（即 list.pop() 默认弹出末尾）替代 pop(0)，避免线性时间复杂度；配合 folders_to_download[::-1] 初始化，保证任务顺序逻辑可控。
- 空间检查前置：每个 worker 在尝试获取新任务前主动检查磁盘，确保“零额外占用”——绝不在空间不足时启动新下载。
- 优雅终止：未启动的任务保留在 queue 中，已启动的 download_folder 任务不受影响，自然完成，符合“只停新增、不杀进行中”的需求。
- 扩展建议：若需任务优先级、跨协程通信或背压控制，请替换为 asyncio.Queue 并搭配 queue.get() / queue.task_done()；若需限制并发总数（而非 worker 数），可用 asyncio.Semaphore 包裹 download_folder 调用，但本场景中 worker 数即天然并发上限，语义更清晰。
该方案将空间决策粒度从“百级批次”细化至“单任务级别”，显著提升磁盘资源利用率与下载吞吐稳定性，是 I/O 密集型异步任务中资源感知调度的典型实践。
