讲师中心 微信公众号
AI工具推荐 视频效率加速

Python 令牌桶限流的异步版本

酷芳大大_4604

酷芳大大_4604

发布时间:2026-02-16 16:48:49

|

510人浏览过

|

来源于php中文网

原创

asyncio版令牌桶不能直接套用threading版逻辑,因为threading.Lock在协程中会阻塞event loop且不可await,导致并发请求串行化、吞吐量骤降;必须改用asyncio.Lock或无锁结构。

python 令牌桶限流的异步版本

asyncio 版令牌桶为什么不能直接套用 threading 版逻辑

因为 threading.Lock 在协程里会阻塞整个 event loop,不是 awaitable;用它会导致所有并发请求串行化,吞吐量断崖下跌。真正的异步限流必须用 asyncio.Lock 或无锁结构(如原子计数器 + asyncio.sleep)。

  • 常见错误现象:RuntimeWarning: coroutine 'Lock.acquire' was never awaited,或压测时 QPS 卡在 1–2,远低于预期
  • 正确做法:用 asyncio.Lock 包裹桶状态更新,且只在需要修改 tokenslast_refill 时加锁,读取当前令牌数可不加锁(容忍短暂脏读)
  • 性能影响:锁粒度越小越好,避免把 await asyncio.sleep() 放在锁内——那会让其他协程干等

如何实现线程安全又低开销的 async 令牌桶

核心是分离「判断是否放行」和「更新桶状态」两个动作,用「先检查、再尝试更新」+ 失败重试(或直接拒绝)的策略,减少锁持有时间。

  • 使用场景:FastAPI / Starlette 中间件、aiohttp 路由装饰器、或独立的限流服务客户端
  • 关键参数:rate(每秒令牌数)、burst(最大令牌数)、refill_interval(推荐设为 1.0 / rate,但避免浮点精度误差)
  • 示例片段:
    async def _refill_tokens(self):
        now = time.time()
        if now < self.last_refill + self.refill_interval:
            return False
        # 原子更新 last_refill,避免多协程同时 refill 导致令牌溢出
        async with self._lock:
            if now >= self.last_refill + self.refill_interval:
                self.tokens = min(self.burst, self.tokens + 1)
                self.last_refill = now
                return True
        return False
    

asyncio.Lock 和 aioredis 结合做分布式限流要注意什么

单机 asyncio.Lock 只管得住本进程协程,跨实例就得靠外部存储;但 Redis 的 INCR + EXPIRE 组合不是原子的,直接拼命令会丢令牌或误限流。

A Python CLI skill for Cutout.Pro visual APIs — background removal, face cutout, and photo enhancement. Supports file upload & image URL input.
A Python CLI skill for Cutout.Pro visual APIs — background removal, face cutout, and photo enhancement. Supports file upload & image URL input.

调用 Cutout.Pro 视觉处理 API 进行背景移除、人像抠图和照片增强,支持文件上传与图片 URL 输入。

下载
  • 常见错误现象:高并发下 redis.exceptions.ConnectionError 频发,或同一用户在不同实例上被重复计数
  • 必须用 Lua 脚本封装 refill + check 逻辑,例如用 redis.eval 执行一段脚本,保证「读当前值 → 判断 → 写新值 → 设 TTL」全在服务端原子完成
  • 兼容性影响:Redis 6.0+ 支持 ACL 权限控制,Lua 脚本里不能调用 EVALSHA 以外的命令(除非显式授权),否则报 NOPERM
  • 参数差异:本地桶用 time.time(),Redis 桶必须用 redis.time()(即服务器时间),否则时钟漂移导致 refill 错乱

为什么 aiofiles 或 httpx 不该在限流中间件里做耗时 IO

限流本身应该是微秒级决策,一旦在里面加日志写文件、查数据库、或调第三方 API,就会把整个路由 pipeline 拖慢,甚至让限流器自己成为瓶颈。

立即学习Python免费学习笔记(深入)”;

  • 典型踩坑:在 __aenter__ 里用 aiofiles.open 记录每次请求,结果磁盘 IO 成为性能天花板
  • 正确做法:限流只做两件事——返回 True/False,和可选地更新内存/Redis 状态;审计日志、告警、指标上报全部异步解耦(比如发到 asyncio.Queue 由后台 task 消费)
  • 性能影响:实测在 FastAPI middleware 中加入一次 httpx.AsyncClient.get("https://httpbin.org/delay/0.1"),P99 延迟从 8ms 涨到 120ms+

事情说清了就结束。真正难的不是写个能跑的 async 令牌桶,而是想清楚哪些操作必须原子、哪些可以妥协、以及什么时候该放弃“精确限流”去换确定性延迟。

热门AI工具

更多
SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

VibeKnow
VibeKnow Hot

一款AI视频创作工具,主要用于全球首个AI知识视频创作平台,文档、文章、网页,一键生成视频,适合需要提升相关任务效率的用户。

AionClaw
AionClaw Hot

AionClaw是一款面向办公、创作和编程任务的AI桌面智能体。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

相关专题

更多
什么是分布式
什么是分布式

分布式是一种计算和数据处理的方式,将计算任务或数据分散到多个计算机或节点中进行处理。本专题为大家提供分布式相关的文章、下载、课程内容,供大家免费下载体验。

1873

2023.08.11

分布式和微服务的区别
分布式和微服务的区别

分布式和微服务的区别在定义和概念、设计思想、粒度和复杂性、服务边界和自治性、技术栈和部署方式等。本专题为大家提供分布式和微服务相关的文章、下载、课程内容,供大家免费下载体验。

2494

2023.10.07

什么是中间件
什么是中间件

中间件是一种软件组件,充当不兼容组件之间的桥梁,提供额外服务,例如集成异构系统、提供常用服务、提高应用程序性能,以及简化应用程序开发。想了解更多中间件的相关内容,可以阅读本专题下面的文章。

549

2024.05.11

Golang 中间件开发与微服务架构
Golang 中间件开发与微服务架构

本专题系统讲解 Golang 在微服务架构中的中间件开发,包括日志处理、限流与熔断、认证与授权、服务监控、API 网关设计等常见中间件功能的实现。通过实战项目,帮助开发者理解如何使用 Go 编写高效、可扩展的中间件组件,并在微服务环境中进行灵活部署与管理。

564

2025.12.18

ThinkPHP中间件机制与请求拦截处理实践
ThinkPHP中间件机制与请求拦截处理实践

本专题围绕 ThinkPHP 中间件体系展开,深入讲解中间件的定义、注册与执行流程。内容包括全局中间件与路由中间件的区别、请求前后处理逻辑、自定义中间件开发以及权限验证与日志处理应用。通过实际案例,帮助开发者掌握中间件在项目中的核心作用与最佳实践。

398

2026.03.31

Python FastAPI异步API开发_Python怎么用FastAPI构建异步API
Python FastAPI异步API开发_Python怎么用FastAPI构建异步API

Python FastAPI 异步开发利用 async/await 关键字,通过定义异步视图函数、使用异步数据库库 (如 databases)、异步 HTTP 客户端 (如 httpx),并结合后台任务队列(如 Celery)和异步依赖项,实现高效的 I/O 密集型 API,显著提升吞吐量和响应速度,尤其适用于处理数据库查询、网络请求等耗时操作,无需阻塞主线程。

99

2025.12.22

Python 微服务架构与 FastAPI 框架
Python 微服务架构与 FastAPI 框架

本专题系统讲解 Python 微服务架构设计与 FastAPI 框架应用,涵盖 FastAPI 的快速开发、路由与依赖注入、数据模型验证、API 文档自动生成、OAuth2 与 JWT 身份验证、异步支持、部署与扩展等。通过实际案例,帮助学习者掌握 使用 FastAPI 构建高效、可扩展的微服务应用,提高服务响应速度与系统可维护性。

494

2026.02.06

Python Web框架FastAPI 全栈开发教程合集
Python Web框架FastAPI 全栈开发教程合集

以 FastAPI 为核心,讲解现代 Python Web API 的高效开发方式,涵盖路由定义与路径参数/查询参数/请求体绑定、Pydantic 模型的数据校验与序列化、依赖注入(Depends)系统的分层设计、中间件与 CORS 配置、OAuth2 + JWT 认证流程、后台任务(BackgroundTasks)、WebSocket 实时通信、SQLAlchemy 异步 ORM 集成、自动生成 OpenAPI/Swagger 交互文

456

2026.05.09

Buffalo框架数据库开发全教程
Buffalo框架数据库开发全教程

本专题围绕Buffalo框架数据库开发,讲解database.yml多环境配置、soda与fizz迁移生成回滚、模型结构体标签、增删改查与条件查询、一对多与多对多关联、数据校验、回调钩子、事务处理及原生SQL执行能力。

0

2026.09.23

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn