讲师中心 微信公众号
AI工具推荐 视频效率加速

C++如何实现带限速的API请求令牌桶?(分布式限流本地模拟)

星宇酱_8680

星宇酱_8680

发布时间:2026-03-05 15:02:58

|

822人浏览过

|

来源于php中文网

原创

令牌桶应使用std::chrono::steady_clock按需计算时间差补令牌,用std::atomic_int或mutex保护状态;避免system_clock和shared_mutex;try_consume须CAS扣减并先补满再截断;本地模拟需加jitter逼近分布式时钟偏差。

c++如何实现带限速的api请求令牌桶?(分布式限流本地模拟)

令牌桶怎么用 std::chrono 做线程安全的本地限速

本地模拟分布式限流,核心不是“分布”,而是“桶的行为要准”:令牌补充不能靠定时器硬等,得按需计算流逝时间。直接用 std::chrono::steady_clock 记录上次更新时间,每次请求来时算差值、补令牌,比 sleep 或 timer 更精准也更轻量。

容易踩的坑是没加锁还读写共享状态——哪怕只是 int 类型的令牌数,多线程下自增/自减也会撕裂。必须用 std::atomic_int 或互斥锁保护。

  • std::atomic_int 足够,但要注意 fetch_sub 是原子减,返回旧值,得判断是否 ≥0 才算取成功
  • 补令牌逻辑必须在锁内完成(或用原子操作+CAS重试),否则可能漏补、多补
  • 别用 system_clock,它可能跳变;steady_clock 才保证单调递增

为什么不用 std::mutex 而选 std::shared_mutex 会更糟

std::shared_mutex 看似适合“读多写少”,但令牌桶里“补令牌”和“取令牌”本质都是写操作:补要改计数和时间戳,取要改计数。所谓“只读查询剩余令牌”对限流没意义——你不可能先查再决定要不要发请求,那会破坏原子性。

所以实际只有两种操作:尝试取(写),以及按时间补(写)。这时候 shared_mutex 不仅没收益,反而因升级锁逻辑增加开销,还容易写出死锁(比如先 shared_lock 再 try_upgrade_to_unique_lock)。

立即学习“C++免费学习笔记(深入)”;

C++14
C++14

C++14 对 C++11 的修正与增强版本,适合旧系统维护和较老工具链兼容。

下载
  • 一律用 std::mutex 或 std::atomic + CAS,别被“共享读”误导
  • 如果真要用 std::shared_mutex,得确认你的场景里有大量不修改状态的只读监控调用——但限流器本身不需要这种接口
  • 实测在高并发下,std::atomic_int 配合无锁补令牌(用 compare_exchange_weak 循环)比 mutex 快 2–3 倍

try_consume 函数怎么避免“超发”和“饥饿”

典型错误是把“取 1 个令牌”写成 if (tokens > 0) --tokens; —— 这在多线程下必然超发。正确做法是用原子操作一次性完成“检查并扣减”,失败就立刻返回 false。

另一个问题是“饥饿”:长时间没请求时,令牌堆满后新请求进来,本该允许,但若补令牌逻辑有缺陷(比如只在取时补、且补之前不校验上限),就可能卡住。必须确保每次取之前,先按时间补足,再截断到最大容量。

  • 补令牌公式:new_tokens = min(capacity, old_tokens + elapsed_seconds * rate),rate 单位是 token/s,注意换算成毫秒或微秒精度
  • 用 std::atomic_int::compare_exchange_weak 实现 CAS 补令牌,失败说明别人刚更新过,重读重算
  • 不要在 try_consume 外暴露 get_remaining() 接口——它返回的瞬间就过期了,还破坏封装

本地模拟分布式时,clock_gettime(CLOCK_MONOTONIC) 比 std::chrono 更稳?

在 Linux 上,std::chrono::steady_clock 底层通常就是 CLOCK_MONOTONIC,所以一般没差别。但如果你看到性能抖动或测试结果不稳定,可能是编译器/标准库实现把 steady_clock 绑到了低精度源(比如某些嵌入式 libc++)。这时直接调 clock_gettime 可绕过抽象层,也方便后续迁移到真正分布式环境(比如对接 Redis 的 TIME 命令做全局时钟对齐)。

  • 用 clock_gettime(CLOCK_MONOTONIC, &ts) 获取纳秒级时间,比 std::chrono 少一次封装开销
  • 但跨平台代码里别硬写,可以用宏或 traits 封装,Linux 走 clock_gettime,Windows 走 QueryPerformanceCounter
  • 真正要注意的是:本地模拟永远无法复现网络延迟和时钟漂移,所以压测时得额外加随机 jitter(比如 ±50ms)来逼近真实分布式行为

事情说清了就结束。真正的难点不在桶的逻辑,而在你怎么让多个进程/机器的“流逝时间”感知一致——本地模拟时最容易忽略这点,以为只要算法对就万事大吉。

热门AI工具

更多
WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

超级简历WonderCV

一款AI办公效率工具,主要用于免费求职简历模版下载制作,应届生职场人必备简历制作神器,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

PixTV
PixTV Hot

PixTV是一款面向AIGC内容创作的AI视频生成工具。

Seko
Seko Hot

一款AI视频创作工具,主要用于商汤科技推出的创编一体的AI短视频创作Agent,适合需要提升相关任务效率的用户。

相关专题

更多
什么是分布式
什么是分布式

分布式是一种计算和数据处理的方式,将计算任务或数据分散到多个计算机或节点中进行处理。本专题为大家提供分布式相关的文章、下载、课程内容,供大家免费下载体验。

2033

2023.08.11

分布式和微服务的区别
分布式和微服务的区别

分布式和微服务的区别在定义和概念、设计思想、粒度和复杂性、服务边界和自治性、技术栈和部署方式等。本专题为大家提供分布式和微服务相关的文章、下载、课程内容,供大家免费下载体验。

3114

2023.10.07

登录token无效
登录token无效

登录token无效解决方法:1、检查token的有效期限,如果token已经过期,需要重新获取一个新的token;2、检查token的签名,如果签名不正确,需要重新获取一个新的token;3、检查密钥的正确性,如果密钥不正确,需要重新获取一个新的token;4、使用HTTPS协议传输token,建议使用HTTPS协议进行传输 ;5、使用双因素认证,双因素认证可以提高账户的安全性。

13726

2023.09.14

登录token无效怎么办
登录token无效怎么办

登录token无效的解决办法有检查Token是否过期、检查Token是否正确、检查Token是否被篡改、检查Token是否与用户匹配、清除缓存或Cookie、检查网络连接和服务器状态、重新登录或请求新的Token、联系技术支持或开发人员等。本专题为大家提供token相关的文章、下载、课程内容,供大家免费下载体验。

1625

2023.09.14

token怎么获取
token怎么获取

获取token值的方法:1、小程序调用“wx.login()”获取 临时登录凭证code,并回传到开发者服务器;2、开发者服务器以code换取,用户唯一标识openid和会话密钥“session_key”。想了解更详细的内容,可以阅读本专题下面的文章。

3757

2023.12.21

token什么意思
token什么意思

token是一种用于表示用户权限、记录交易信息、支付虚拟货币的数字货币。可以用来在特定的网络上进行交易,用来购买或出售特定的虚拟货币,也可以用来支付特定的服务费用。想了解更多token什么意思的相关内容可以访问本专题下面的文章。

5921

2024.03.01

string转int
string转int

在编程中,我们经常会遇到需要将字符串(str)转换为整数(int)的情况。这可能是因为我们需要对字符串进行数值计算,或者需要将用户输入的字符串转换为整数进行处理。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

6339

2023.08.02

int占多少字节
int占多少字节

int占4个字节,意味着一个int变量可以存储范围在-2,147,483,648到2,147,483,647之间的整数值,在某些情况下也可能是2个字节或8个字节,int是一种常用的数据类型,用于表示整数,需要根据具体情况选择合适的数据类型,以确保程序的正确性和性能。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

3065

2024.08.29

OpenJDK JVM参数怎么调优
OpenJDK JVM参数怎么调优

Java应用运行缓慢,如何调整JVM参数?本专题介绍OpenJDK JVM性能调优的基本流程,涵盖性能指标确认、运行数据采集、内存配置和垃圾回收分析,帮助你先定位瓶颈,再通过对照测试验证效果,避免直接套用参数而影响应用稳定性。

60

2026.10.16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
C++ Core Guidelines
C++ Core Guidelines

共0课时 | 0人学习

C++ Reference
C++ Reference

共0课时 | 0人学习

C++ 官方标准说明
C++ 官方标准说明

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn