TaskGroup 是 asyncio 并发控制核心,非下载加速器;需配合 aiohttp、连接池、信号量及细粒度错误处理才能安全高效下载。

TaskGroup 是 asyncio 的并发控制核心,不是万能的下载加速器
Python 3.11 引入的 asyncio.TaskGroup 确实简化了并发任务生命周期管理,但它本身不处理网络、重试、限速或文件写入——它只保证所有子任务完成(或任一出错时自动取消其余)。直接套用 TaskGroup 下载海量文件,大概率触发连接池耗尽、磁盘 I/O 阻塞或远端限流,反而比串行还慢。
必须配合 aiohttp + 连接池 + 信号量才能安全压测
纯 asyncio.open 不支持 HTTP;得用 aiohttp.ClientSession,且必须复用 session 并配置连接池。同时,无限制并发(比如 1000 个 task)会瞬间打满本地端口或触发服务端 429 Too Many Requests。正确做法是用 asyncio.Semaphore 控制并发数,并把 session 生命周期绑定到 TaskGroup 外部:
import asyncio import aiohttp from pathlib import Path <p>sem = asyncio.Semaphore(10) # 同时最多 10 个请求</p><p>async def download_one(session, url: str, path: Path): async with sem: # 关键:在这里 acquire async with session.get(url) as resp: resp.raise_for_status() path.write_bytes(await resp.read())</p><p>async def main(urls_and_paths): connector = aiohttp.TCPConnector(limit=100, limit_per_host=30) timeout = aiohttp.ClientTimeout(total=30) async with aiohttp.ClientSession(connector=connector, timeout=timeout) as session: async with asyncio.TaskGroup() as tg: for url, path in urls_and_paths: tg.create_task(download_one(session, url, path))</p>
-
limit控制全局连接总数,limit_per_host防止单域名被打爆 -
ClientTimeout必须设,否则 DNS 失败或卡住会无限等待 -
sem放在download_one内部而非外层循环里,避免提前占用资源
文件写入必须用 write_bytes(),别碰 async file I/O
Python 当前(包括 3.11)的 asyncio.open 仅支持文本模式,且底层仍是阻塞调用,对海量小文件写入毫无优势。更糟的是,如果用 await f.write(...),实际会退化成同步写,拖垮整个 event loop。唯一可靠方式是:await resp.read() 拿到 bytes,再用 path.write_bytes() 同步写入——这看起来“不 async”,但实测比假装异步快得多,且不会污染 event loop。
FastMCP 是构建 Model Context Protocol 服务器、客户端和应用程序的标准 Python 框架。它提供自动模式生成、传输协商和协议生命周期管理,使开发人员能够用最少的样板代码将 Python 函数包装成符合 MCP 标准的工具。
立即学习“Python免费学习笔记(深入)”;
- 不要尝试
asyncio.to_thread(Path(...).write_bytes, data):小文件下线程开销反超收益 - 大文件(>50MB)才需分块读取 +
open(..., "wb")循环写,但此时要加await asyncio.sleep(0)让出控制权 - 路径不存在时,
path.parent.mkdir(parents=True, exist_ok=True)必须同步执行,别放进 task
错误处理不能只靠 TaskGroup 的自动 cancel
TaskGroup 在某个 task 抛出未捕获异常时会 cancel 其余 task,但这对下载场景很危险:比如一个 404 错误导致其他 99 个正在写的文件被中断,临时文件残留、状态不一致。必须在每个 task 内部做细粒度错误捕获:
async def download_one(session, url: str, path: Path):
async with sem:
try:
async with session.get(url) as resp:
if resp.status == 404:
print(f"Skip {url}: not found")
return
resp.raise_for_status()
path.write_bytes(await resp.read())
except aiohttp.ClientError as e:
print(f"Network error for {url}: {e}")
except OSError as e:
print(f"Write error to {path}: {e}")
-
resp.raise_for_status()之前先检查常见状态码(如 404、403),避免直接炸掉整个 group - 网络异常(
ClientError)和系统异常(OSError)分开处理,后者可能是磁盘满或权限问题 - 不要在
except Exception:里吞掉所有错误——有些异常(如KeyboardInterrupt)该让主流程感知
真正难的从来不是并发语法,而是判断什么时候该降并发、什么时候该切片重试、以及怎么让失败任务的上下文(URL、重试次数、临时路径)可追溯。这些没法靠 TaskGroup 自动解决,得自己埋点和分治。

















