Nginx在后端宕机后故障转移耗时分三阶段:感知失败(首错约3秒内)、标记节点(5–10秒,取决于max_fails/fail_timeout)、流量转移(依赖proxy_next_upstream重试成功与否);启用主动健康检查可压缩至3–6秒。

排查Nginx在后端宕机后多久能感应并完成故障转移,关键不是“看配置写了什么”,而是“看失败请求如何被记录、节点何时被标记、重试是否触发、用户请求是否成功”。整个过程分三段:感知失败 → 标记节点 → 转移流量。必须结合日志、指标和主动探测行为交叉验证。
看日志里第一次失败是什么时候
打开 Nginx error.log,搜索目标后端地址(如 192.168.1.10:8080)和错误关键词:connect() failed、Connection refused、Connection timed out、upstream timed out。首次出现的时间点,就是 Nginx 第一次感知到异常的时刻。
- 如果用的是 upstream_connect_timeout=3s,且网络正常,那首次失败通常就发生在宕机后 3 秒内
- 若看到大量 upstream timed out (110: Connection timed out),说明 proxy_read_timeout 或 proxy_send_timeout 过长,连接已建但卡住,此时 upstream_connect_timeout 没起作用
- 注意区分:连接失败(connect)是秒级感知;读响应超时(read)可能拖到几十秒,不触发 max_fails 计数
查节点什么时候被标记为 down
Nginx 不会立刻下线节点,要满足 max_fails 次失败,且都在 fail_timeout 时间窗口内。例如配置 max_fails=3 fail_timeout=30s:
- 第 1 次失败 → 计数=1,节点仍可用
- 第 2 次失败(5 秒后)→ 计数=2
- 第 3 次失败(再过 2 秒)→ 计数=3,节点立即标记为 down,后续请求跳过它
- 从首次失败到标记 down 的耗时 = 第 3 次失败时间 − 首次失败时间(实测常为 5–10 秒)
可通过 nginx -T | grep upstream 确认实际生效的 max_fails/fail_timeout 值,并检查是否被 location 或 server 块中的同名指令覆盖。
验重试是否生效、用户请求是否恢复
仅节点 down 不代表用户无感。真正影响体验的是:单次请求是否因 proxy_next_upstream 触发换节点重试?最终返回是不是 200?总耗时是否可控?
- 在 access.log 中找含 "502" 或 "504" 的行,再往后翻几行,看同一客户端 IP + 相近时间戳是否有 "200" 请求 → 表明重试成功
- 确认 location 块中启用了 proxy_next_upstream error timeout http_502 http_504,否则即使节点 down,当前请求也会直接失败
- 用 curl 测试:连续请求 5 次,观察第几次开始稳定返回 200;中间穿插的 502/504 出现次数和间隔,就是故障转移窗口期
加主动探测才能准确定位切换起点
被动机制依赖真实失败请求,存在“首请求必败”问题。要精确测量“从宕机到停止转发”的时延,必须启用主动健康检查:
- 安装 nginx_upstream_check_module,配置 check interval=2000 rise=2 fall=3
- 宕机后,Nginx 每 2 秒发一次探针;连续 3 次失败(即 6 秒内)就标记节点 down
- 抓包验证:用 tcpdump -i any port 8080 在后端服务器上确认探测包是否到达、何时停止
- 此时“感应+转移”耗时可压缩至 3–6 秒,且不依赖业务流量触发


















