Java网关令牌桶限流核心是在请求入口动态判断放行,需用AtomicLong+CAS保证线程安全,惰性填充令牌,并通过GlobalFilter集成Spring Cloud Gateway,拒绝时返回429响应。

Java 网关实现基于令牌桶算法的限流拦截,核心是**在请求入口处动态判断是否允许通过**,关键在于:令牌桶的线程安全维护、实时填充逻辑、以及与网关过滤器(如 Spring Cloud Gateway 的 GlobalFilter)的集成。
令牌桶模型的 Java 实现要点
令牌桶需支持并发访问,推荐使用 AtomicLong 存储剩余令牌数,并配合时间戳记录上次填充时间。每次请求到来时:
- 先计算从上次填充到当前时刻应新增的令牌数(
rate × 经过秒数),向上取整或向下取整需统一策略(常用向下取整 + 取 min 限制最大容量) - 更新剩余令牌:
remaining = min(capacity, current + added) - 尝试消耗一个令牌:
if (remaining > 0) { remaining--; return true; } else return false; - 整个过程需用 CAS(如 compareAndSet)保证原子性,避免锁竞争影响吞吐
在 Spring Cloud Gateway 中集成限流过滤器
以 GlobalFilter 方式嵌入路由链路,示例结构如下:
- 定义一个 RateLimiter 接口实现类(如
TokenBucketRateLimiter),封装上述令牌桶逻辑 - 在 filter 方法中提取请求标识(如用户 ID、IP、接口路径等),构造唯一 key,获取对应桶实例(可用 ConcurrentHashMap 缓存桶对象,key → TokenBucket)
- 调用
tryAcquire()判断是否放行;若拒绝,直接返回429 Too Many Requests响应(注意设置ServerHttpResponse并终止 chain) - 建议将桶容量、填充速率等参数按 key 动态配置(如从 Nacos 或数据库加载),支持灰度调整
提升稳定性的实用技巧
生产环境需兼顾性能与一致性:
在 Java 中初始化和管理阿里云 SDK客户端。包括单例模式、线程安全、endpoint 与 region 配置、VPC 终端节点、同步与异步等。
立即学习“Java免费学习笔记(深入)”;
- 避免为每个请求都新建桶对象,复用已存在的桶实例;对高频 key(如热门接口)可预热初始化
- 令牌填充不依赖定时任务,而是在每次请求时惰性计算,降低系统开销
- 考虑分布式场景:单机令牌桶只适用于单实例网关;跨节点需引入 Redis + Lua 脚本实现原子操作(如
INCR+ 过期时间 + 条件判断) - 日志和监控不可少:记录被限流的 key、时间、频次,接入 Prometheus 暴露
rate_limit_rejected_total等指标
简单可运行的令牌桶参考代码片段
(非完整类,仅示意核心逻辑)
public class TokenBucket {
private final long capacity;
private final double refillRatePerSec; // 如 100.0
private final AtomicLong tokens = new AtomicLong();
private final AtomicLong lastRefillTime = new AtomicLong(System.nanoTime());
<pre class="brush:php;toolbar:false;">public TokenBucket(long capacity, double refillRatePerSec) {
this.capacity = capacity;
this.refillRatePerSec = refillRatePerSec;
this.tokens.set(capacity);
}
public boolean tryAcquire() {
long now = System.nanoTime();
long nanosSinceLastRefill = now - lastRefillTime.get();
double seconds = nanosSinceLastRefill / 1_000_000_000.0;
long newTokens = (long) (seconds * refillRatePerSec);
if (newTokens > 0) {
long updated = Math.min(capacity, tokens.get() + newTokens);
tokens.set(updated);
lastRefillTime.set(now);
}
return tokens.get() > 0 && tokens.compareAndSet(tokens.get(), tokens.get() - 1);
}}
不复杂但容易忽略细节,关键是把“时间驱动填充”和“CAS 安全消费”两个动作揉进一次请求判断里。

















