Python异步IO通过async/await配合asyncio及aiohttp/httpx实现单线程高并发，避免requests同步阻塞问题，100请求耗时≈最长响应时间；需复用ClientSession、设timeout、用Semaphore限流，并注意仅适用于IO密集型场景。
Python异步IO是处理高并发网络请求的高效方式，核心在于用 async/await 配合 asyncio 和支持异步的HTTP客户端（如 aiohttp 或 httpx），避免阻塞、复用单线程资源，显著提升吞吐量。
为什么不用 requests？
requests 是同步阻塞库，每次发起 HTTP 请求都会卡住当前线程，直到响应返回。在并发场景下，100 个请求会串行等待或需配合多线程/多进程——开销大、调度重、内存占用高。而异步IO让多个请求“同时”发出、各自回调，真正实现单线程高并发。
- 同步：100 次请求 ≈ 总耗时 ≈ 所有响应时间之和（串行）或 ≈ 最长单次响应时间（多线程并行，但线程创建/切换成本高）
- 异步：100 次请求 ≈ 总耗时 ≈ 最长单次响应时间（理想网络下），CPU 几乎不空转等待
用 aiohttp 发起并发 GET 请求
aiohttp 是 Python 生态最成熟的异步 HTTP 客户端，需搭配 asyncio.gather() 或 asyncio.create_task() 并发调度：
import asyncio
import aiohttp
<p>async def fetch(session, url):
try:
async with session.get(url, timeout=5) as response:
return await response.text()
except Exception as e:
return f"Error: {e}"</p><p>async def main():
urls = ["<a href="https://www.php.cn/link/5f69e19efaba426d62faeab93c308f5c">https://www.php.cn/link/5f69e19efaba426d62faeab93c308f5c</a>"] <em> 20 # 模拟 20 个延迟 1 秒的请求
async with aiohttp.ClientSession() as session:
tasks = [fetch(session, url) for url in urls]
results = await asyncio.gather(</em>tasks)
print(f"完成 {len(results)} 个请求")</p><p>asyncio.run(main())
关键点：
– ClientSession 必须复用（不能每个请求都新建），它管理连接池和 cookie；
– timeout 必须显式设置，否则可能无限挂起；
– gather 会等待全部完成，任一异常默认导致整体失败（可用 return_exceptions=True 容错）。
控制并发数，避免压垮服务或触发限流
无限制并发（如上面例子中 20 个同时发）可能被目标服务器拒绝、丢包，或耗尽本地文件描述符。推荐用 asyncio.Semaphore 限流：
让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限
立即学习“Python免费学习笔记（深入）”；
sem = asyncio.Semaphore(5) # 最多 5 个并发 <p>async def fetch_limited(session, url): async with sem: # 进入信号量，超限时自动等待 return await fetch(session, url)</p><h1>然后在 main 中：</h1><p>tasks = [fetch_limited(session, url) for url in urls]
常见策略：
– 小型爬虫/API 聚合：3～10 并发较安全；
– 内部微服务调用：可放宽至 20～50，视对方 QPS 和 SLA 调整；
– 加上指数退避重试 + User-Agent 轮换，更贴近生产健壮性。
替代方案：httpx 更简洁，支持 sync/async 双模式
httpx API 更接近 requests，学习成本低，且原生支持 HTTP/2 和异步上下文管理：
import httpx import asyncio <p>async def fetch_with_httpx(url): async with httpx.AsyncClient(timeout=5) as client: resp = await client.get(url) return resp.text</p><p>async def main(): urls = ["<a href="https://www.php.cn/link/4d2fe2e8601f7a8018594d98f28706f2">https://www.php.cn/link/4d2fe2e8601f7a8018594d98f28706f2</a>"] <em> 10 results = await asyncio.gather(</em>[fetch_with_httpx(u) for u in urls])
优势：
– 单库覆盖同步开发调试 + 异步上线部署；
– 自动复用连接（AsyncClient 实例内）；
– 返回对象与 requests.Response 接口高度兼容，迁移成本低。
异步不是银弹——适合 IO 密集型（网络、数据库）、不适合 CPU 密集型任务。写对了，百倍并发轻松扛；写错了（比如混用阻塞调用、未 await、忘记 close），反而比同步还慢。关键是理解事件循环、避免隐式阻塞、善用工具链。
