Two Random Choices策略先随机选两个健康后端,再依least_conn或EWMA等轻量指标选更优者,兼顾负载均衡性与O(1)时间效率,显著优于纯随机且免全量扫描。

Random 配合 two 参数,不是简单地“随机挑一个”,而是先随机挑两个,再从这两个里选更优的那个——这种策略叫Two Random Choices(也称 Power of Two Choices),它显著改善了纯随机的负载倾斜问题,同时避免了全量扫描所有节点的开销。
核心逻辑:先抽样,再比较
算法执行分两步:
- 从全部健康后端中,独立、均匀地随机选出两个目标(允许重复,但实践中通常去重)
- 对这两个目标,依据某种轻量指标做实时比较,选更合适的一个承接请求
这个“比较依据”就是关键变量,Nginx 默认用 least_conn(活跃连接数最少),YARP 默认也采用相同逻辑;而像 go-zero 的 p2c+EWMA 则进一步引入响应耗时的指数加权平均值(EWMA)作为评分依据。
常见实现方式与配置示例
不同系统对 two 的支持形式略有差异,但本质一致:
-
Nginx(1.15.1+):在 upstream 块中启用
random two;或random two least_conn;(least_conn是默认 method,可省略) -
YARP:无需额外配置,
PowerOfTwoChoices是其默认负载均衡策略 -
自定义实现(如 Java/Go):在
select()方法中生成两个随机索引 → 获取对应 Server 实例 → 调用getActiveConnections()或getEWMA()获取指标 → 返回指标更优者
为什么比纯 Random 更智能?
它缓解了三个典型问题:
- 避免“扎堆”:纯随机可能连续命中同一台高负载机器;two choices 天然降低该概率,统计上使负载分布更接近正态
-
免全局扫描:相比
LeastRequests需遍历所有节点查最小值,它只比两个,时间复杂度稳定为 O(1) - 天然容错:只要两个候选中有一个健康,就能完成选择;即使某节点短暂异常,也不影响整体调度可用性
使用时需注意的关键点
效果依赖合理配置和可观测基础:
- 后端列表必须是当前健康节点集合(剔除已标记 down / fail_timeout 中的节点),否则可能选出不可用目标
- 用于比较的指标(如连接数、EWMA 耗时)应能真实反映瞬时负载,避免缓存过期或上报延迟导致误判
- 当集群规模极小(如仅 2–3 台)时,two choices 收益有限;节点数 ≥ 10 后,优势明显放大
- 不适用于强会话亲和(session stickiness)场景,因每次选择独立,无法保证同一用户始终落到同一节点

















