Hermes Agent API限流有五种方法：一、信号量控并发；二、指数退避重试；三、令牌桶算法；四、反向代理层限流；五、模型粒度动态配额。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
如果您在运行Hermes Agent时发现API请求被目标服务频繁拒绝或返回429错误码，则很可能是由于请求频率超出对方接口的允许阈值。以下是多种可立即实施的API速率限制方法：
一、基于信号量的并发请求数控制
该方法通过限制同时发起的请求数量，从源头压制瞬时并发压力，避免触发目标API的并发限流机制。其核心在于使用异步信号量对请求入口进行排队管理。
1、打开trajectory_compressor.py文件，定位到初始化逻辑区域。
2、确认存在如下初始化语句：semaphore = asyncio.Semaphore(self.config.max_concurrent_requests)。
3、在配置文件中设置max_concurrent_requests: 3（建议初始值设为3～5，视目标API承载能力调整）。
4、所有需限流的API调用前，插入async with self.semaphore:上下文块包裹实际请求逻辑。
二、指数退避重试策略配置
当已发生的请求因速率限制被拒绝时，该策略通过逐步拉长重试间隔，降低二次冲击风险，并提升最终成功率，适用于HTTP 429响应场景。
1、进入tools/mixture_of_agents_tool.py，查找包含rate limit error的日志语句段落。
2、确认重试逻辑中存在类似await asyncio.sleep(2 ** attempt)的延迟计算，且最大等待时间被硬编码为60秒。
3、将基础退避时间从2秒改为可配置项，在配置中新增base_backoff_delay: 1.5字段。
4、修改休眠表达式为await asyncio.sleep(min(60, base_backoff_delay * (2 ** attempt)))。
三、令牌桶算法集成部署
该方法提供更精细的时间窗口内请求数控制，允许突发流量在令牌余额充足时通过，兼顾平滑性与响应弹性，适合高吞吐稳定调用场景。
1、新建rate_limit/leaky_bucket.py，实现TokenBucket类，含consume()与add_tokens()方法。
用于在用户想通过浏览器自动化与 Google Gemini 或 ChatGPT 交互时。触发短语包括“ask Gemini”“ask ChatGPT”“ask GPT”“让...”。
2、在gateway/pairing.py中导入该类，并于用户请求入口处初始化桶实例：bucket = TokenBucket(capacity=10, refill_rate=2.0)（每秒补充2个令牌，上限10）。
3、每次API调用前调用if not bucket.consume(): raise RateLimitExceededError。
4、启动后台任务定期调用bucket.add_tokens()，间隔设为500毫秒以保障精度。
四、反向代理层全局限流
在Hermes Agent与目标API之间引入轻量级代理节点（如Cloudflare Worker），由代理统一执行请求节流，使Agent本体无需修改代码即可获得强限流能力。
1、注册Cloudflare账号并进入Workers & Pages控制台。
2、创建新Worker，命名为hermes-rate-limiter，部署前替换默认代码为支持令牌桶逻辑的JavaScript实现。
3、在Worker脚本中定义const rateLimiter = new TokenBucket(5, 1)（每秒最多5次请求）。
4、对每个入站请求，先执行if (!rateLimiter.consume()) return new Response("Too Many Requests", { status: 429 })，再转发至目标API。
五、模型调用粒度动态配额分配
针对多模型混合调用场景，依据各模型SLA差异动态分配单位时间配额，防止高优先级模型因低优先级模型耗尽全局额度而阻塞。
1、在config.yaml中为每个模型声明独立配额：gemini: { rpm: 60, burst: 10 }、llama3: { rpm: 120, burst: 20 }。
2、加载配置后，为每个模型实例初始化专属RateLimiter对象，参数取自对应字段。
3、在mixture_of_agents_tool.py的模型选择逻辑中，调用对应模型的limiter.acquire()方法。
4、若获取失败，跳过该模型，尝试列表中下一个具备可用配额的模型。
