nodelay不实现负载均衡，仅跳过排队直接拒绝超额请求；配合合理rate、burst及least_conn等配置，可降低延迟、避免雪崩，实现低延迟转发目标。
使用 limit_req 的 nodelay 参数本身**不实现负载均衡**，它只控制请求限流行为；但配合合理配置，可让网关在低延迟场景下更“激进”地转发请求，避免因排队等待放大延迟。关键在于理解 nodelay 如何改变令牌桶的调度逻辑。
nodelay 的真实作用：跳过排队，直接拒绝超额请求
默认情况下（无 nodelay），limit_req 使用“平滑排队”策略：超出速率的请求会被暂存到队列中，等待令牌生成后再处理——这会引入不可控的排队延迟，违背低延迟目标。
启用 nodelay 后，Nginx 不排队，而是立即检查当前是否能拿到令牌；拿不到就直接返回 503（或自定义错误码），不等待、不缓冲。
- 适合对延迟敏感的服务（如实时 API、前端资源加载）
- 避免“请求堆积 → 延迟雪崩 → 超时级联失败”
- 把压力显性化（快速失败），便于上游或客户端做重试/降级
与负载均衡协同的关键配置要点
limit_req 是限流模块，负载均衡由 upstream 和 proxy_pass 实现。二者需配合才能达成“低延迟转发”目标：
-
限流粒度要匹配业务单元：例如按
$binary_remote_addr限流防单 IP 扫描，或按$request_uri限流防热点接口打爆后端 -
burst 值不宜过大：即使加了
nodelay，若burst=100，仍可能瞬间压垮上游。建议 burst ≤ 后端单实例每秒可处理请求数 × 1.5 -
必须设置合理的 rate：例如
rate=10r/s表示每秒最多放行 10 个请求；超过即刻 503，不排队 -
搭配 upstream 的健康检查与最小连接数负载策略：例如
least_conn或least_time header，确保请求落到延迟最低的节点
典型低延迟场景配置示例
以下配置用于保护一个毫秒级响应的查询接口：
limit_req_zone $binary_remote_addr zone=api_limit:10m rate=50r/s;
server {
location /v1/query {
limit_req zone=api_limit burst=20 nodelay;
proxy_pass http://backend_api;
proxy_next_upstream error timeout http_503;
proxy_next_upstream_tries 2;
}
}
upstream backend_api {
least_conn;
server 10.0.1.10:8080 max_fails=2 fail_timeout=10s;
server 10.0.1.11:8080 max_fails=2 fail_timeout=10s;
}
说明：
– 每个 IP 最多 50 请求/秒，突发允许 20 个（无排队）
– 超出立刻 503，不卡住连接
– 后端用 least_conn 选最空闲节点，配合 proxy_next_upstream 自动绕过临时不可用节点
注意：nodelay 不是万能加速器
它解决的是“限流引入的额外延迟”，而非网络传输、后端处理或 DNS 解析等固有延迟：
- 若后端平均响应时间已达 200ms，
nodelay无法让它变快 - 若 burst 设得过高，仍可能击穿后端导致超时，此时 503 反而减少无效等待
- 需结合监控（如 Nginx stub_status、Prometheus + nginx-vts-exporter）观察实际 503 率和 upstream_response_time 分位值
