asyncio.Semaphore能限流是因为它作为协程安全的异步信号量，通过计数器控制同时进入临界区的协程数量，acquire()挂起无许可协程而不阻塞事件循环，release()释放许可唤醒等待协程，从而精确限制并发请求数而非执行频率。
asyncio.Semaphore 为什么能限流，而不是用 time.sleep()
因为 time.sleep() 在协程里会阻塞整个事件循环，所有并发任务都得等它；而 asyncio.Semaphore 是协程友好的“许可证桶”——每次 acquire() 尝试拿一个许可，没空闲许可就挂起当前协程，不阻塞别人。真正控制的是**并发请求数**，不是“每秒多少次”，但配合固定频率的请求节奏（比如每秒启动 5 个新任务），就能逼近目标 QPS。
如何用 Semaphore 控制并发请求数（不是 QPS）
直接限制同时发起的请求数，是最简单也最稳定的用法：
import asyncio
import aiohttp
<p>sem = asyncio.Semaphore(5) # 最多 5 个并发请求</p><p>async def fetch(url):
async with sem: # 这里会自动 acquire/release
async with aiohttp.ClientSession() as session:
async with session.get(url) as resp:
return await resp.text()</p><h1>启动 100 个任务，但最多 5 个同时跑</h1><p>tasks = [fetch("<a href="https://www.php.cn/link/5f69e19efaba426d62faeab93c308f5c">https://www.php.cn/link/5f69e19efaba426d62faeab93c308f5c</a>") for _ in range(100)]
results = await asyncio.gather(*tasks)
-
async with sem是推荐写法，自动管理进出，避免忘记release() - 数值 5 表示最大并发数，不是每秒请求数；若每个请求耗时 1 秒，实际 QPS ≈ 5；若耗时 100ms，QPS 可达 ~50
- 不要在
fetch()外层用sem包裹ClientSession创建，那会串行化 session 初始化，反而拖慢
想严格控 QPS？得加时间调度逻辑
单纯靠 Semaphore 无法精确实现“每秒最多 N 次”，因为请求完成时间不可控。要逼近该目标，需结合 asyncio.sleep() 做请求节拍器：
Secure Python Code Sandbox
下载
安全 Python 代码沙箱：在隔离的沙箱中执行任意 Python 代码，预装 requests、NumPy、pandas 库。返回 stdout、stderr。
立即学习“Python免费学习笔记（深入）”；
import asyncio
import time
<p>class RateLimiter:
def <strong>init</strong>(self, max_calls: int, period: float = 1.0):
self.max_calls = max_calls
self.period = period
self.calls = []</p><pre class="brush:php;toolbar:false;">async def acquire(self):
now = time.time()
# 清理过期记录
self.calls = [t for t in self.calls if now - t < self.period]
if len(self.calls) >= self.max_calls:
# 算出还需等多久
sleep_time = self.calls[0] + self.period - now
if sleep_time > 0:
await asyncio.sleep(sleep_time)
# 再清理一次（防止 sleep 期间又有新调用）
now = time.time()
self.calls = [t for t in self.calls if now - t < self.period]
self.calls.append(now)用法：每秒最多 3 次
limiter = RateLimiter(3)
async def fetch_with_rate_limit(url): await limiter.acquire() async with aiohttp.ClientSession() as session: async with session.get(url) as resp: return await resp.text()
- 这个
RateLimiter是协程安全的，但不带锁——多个协程并发调用acquire()时，self.calls可能出现竞争，实际生产建议用asyncio.Lock包一层操作列表 - 如果只是爬少量网站、对 QPS 要求宽松（如“别把对方服务器打挂”），用
Semaphore(3~5)更轻量、更可靠 - 注意
time.time()是系统时间，跨机器或 NTP 漂移大时，窗口计算可能偏移；高精度场景应改用asyncio.get_event_loop().time()
常见踩坑：Semaphore 放错位置导致限流失效
最容易犯的错误是把 Semaphore 实例放在函数内部、或每次请求新建一个：
- ❌ 错误：每次
fetch()都sem = asyncio.Semaphore(5)→ 每个请求都有自己的“5个并发额度”，完全不限流 - ❌ 错误：把
sem放在ClientSession()上下文里 → session 创建被串行化，反而压垮连接池 - ✅ 正确：全局或实例级单例
sem，且async with sem包裹的是实际发请求的代码段（即session.get()） - ⚠️ 注意：如果用了
aiohttp.TCPConnector(limit_per_host=...)，它和Semaphore是两层控制，前者管连接复用，后者管协程并发，别混淆
实际部署时，多数情况用 Semaphore 控并发就够了；真要卡死 QPS，优先考虑反爬策略是否允许、目标站点响应波动是否大——限流逻辑越重，异常路径越难测。
