Nginx需通过暴露stub_status和JSON日志作为可观测数据源，结合Prometheus/Loki/Grafana构建采集-告警-可视化闭环，并利用Alertmanager Webhook联动自动恢复动作。
要在 Nginx 环境中实现“故障发现 → 定位 → 恢复”的全闭环运维告警看板，Nginx 本身不直接提供告警、可视化或自动恢复能力，它需要与外部可观测性生态协同。核心思路是：把 Nginx 变成可观测数据源，再通过采集、分析、告警、可视化和联动工具串联闭环。
1. 让 Nginx 输出可采集的运行指标
Nginx 默认只输出访问日志和错误日志，需主动暴露结构化指标：
-
启用 stub_status 模块（基础连接状态）：编译时确保含
--with-http_stub_status_module，配置如下：
stub_status on;
access_log off;
allow 127.0.0.1;
deny all;
}
该接口返回 Active connections、accepts、handled、requests 等计数器，适合 Prometheus 抓取。
- 开启 JSON 格式访问日志（用于链路与异常分析）：
"remote_addr":"$remote_addr",
"status":$status,
"body_bytes_sent":$body_bytes_sent,
"request_time":$request_time,
"upstream_response_time":"$upstream_response_time",
"http_user_agent":"$http_user_agent",
"request_uri":"$request_uri"}';
access_log /var/log/nginx/access.log json;
结构化日志便于 Loki 或 ELK 解析，支持按 status、request_time、upstream_response_time 等字段快速筛选超时、5xx、慢请求。
2. 构建可观测性数据链路
用开源组件搭建轻量但完整的采集-存储-分析链路：
-
指标采集：部署 Prometheus，配置抓取
http://localhost/nginx-status；同时用 nginx-lua-prometheus（需 OpenResty）暴露更细粒度指标（如按 upstream、location 的响应时间 P95、错误率）。 - 日志采集：用 Promtail 或 Filebeat 将 JSON 日志推送到 Loki（轻量）或 Elasticsearch。
-
链路追踪（可选但推荐）：在 upstream 服务加 OpenTelemetry SDK，并让 Nginx 在请求头透传 trace-id（通过
proxy_set_header X-Request-ID $request_id;），实现跨层定位。
3. 告警规则 + 看板联动定位
告警不能只发消息，要带上下文直达问题：
- Prometheus 告警规则示例（5xx 突增）：
expr: 100 * sum(rate(nginx_http_requests_total{status=~"5.."}[5m])) / sum(rate(nginx_http_requests_total[5m])) > 2
for: 2m
labels:
severity: critical
annotations:
summary: "Nginx 5xx 错误率过高"
dashboard: "http://grafana.example.com/d/nginx-overview?from=now-30m&to=now"
runbook: "https://wiki.ops/ngx-5xx-troubleshooting"
注：annotation 中的 dashboard 和 runbook 链接，能让值班人员一键跳转看板或排查手册。
- Grafana 看板设计要点：
一个综合看板应包含：
– 左上：全局 QPS、成功率、P95 延迟趋势（Prometheus）
– 右上：实时 top N 慢请求 URI & 对应 upstream（Loki 日志聚合）
– 中下：各 upstream 的失败率热力图 + 错误码分布（Prometheus + 日志）
– 底部：Nginx 进程数、worker_connections 使用率、磁盘/内存关联指标（主机监控）
4. 接入恢复动作，形成闭环
告警触发后，人工确认前可自动执行低风险恢复动作：
- 用 Alertmanager webhook 调用自动化脚本：例如检测到某 upstream 全部节点超时，自动触发健康检查并摘除异常节点（需配合 Consul/Nacos 或自定义 upstream 管理接口）。
-
与 CMDB/运维平台集成：告警中携带
upstream_name标签，自动查出所属业务、负责人、部署拓扑，同步推送至企微/钉钉，并附一键登录跳转链接（如跳转到该服务的 K8s Pod 列表页）。 - 恢复验证闭环：脚本执行后，主动调用接口探测 upstream 健康状态，并将结果回写到告警 note 字段，Grafana 看板实时显示“已自动摘除”、“已恢复”状态。
不复杂但容易忽略：闭环的关键不在工具堆砌，而在每个环节携带足够上下文——指标带标签、日志带 trace-id、告警带 dashboard 链接、恢复动作带业务语义。Nginx 是入口，把它变成可观测的“第一现场”，整个链路才能真正缩短 MTTR。
