Go服务不定义Prometheus告警规则,只通过CounterVec按status等标签暴露指标;告警中必须用rate()而非increase()计算错误率;规则需与指标名、标签严格匹配,并注意抓取链路调试。

Go 服务本身不直接“定义” Prometheus 告警规则;告警规则写在 prometheus.yml 或独立的 alert.rules.yml 里,Go 只负责暴露符合规范的指标——错误率能不能算出来、准不准,全看它暴露得对不对。
Go 怎么暴露「可被错误率计算」的指标
Prometheus 计算错误率(比如 rate(http_requests_total{status=~"5.."}[5m]) / rate(http_requests_total[5m]))的前提,是 Go 进程得上报带 status 标签的计数器。用 promhttp + prometheus/client_golang 时,常见错误是只暴露一个总请求数,没做状态拆分。
- 必须用
prometheus.NewCounterVec,按status(或code、result)打标,不能只用NewCounter - 标签值要收敛:避免把 HTTP path、user_id 这类高基数字段塞进标签,否则 Cardinality 爆炸,Prometheus OOM
- 记录时机要一致:在 handler 返回前、日志打点后、中间件统一出口处计数,别在 defer 里漏掉 panic 场景
示例:
var httpRequests = prometheus.NewCounterVec(
prometheus.CounterOpts{
Name: "http_requests_total",
Help: "Total HTTP Requests",
},
[]string{"method", "path", "status"},
)
func init() {
prometheus.MustRegister(httpRequests)
}
// 在 handler 结束时:
httpRequests.WithLabelValues(r.Method, r.URL.Path, strconv.Itoa(status)).Inc()为什么 rate() 和 increase() 在告警里必须用 rate()
告警规则里写 increase(http_errors_total[5m]) > 10 看似直观,但会因抓取间隔抖动、样本丢失导致误告——increase 是插值估算,而 rate 自动处理了样本对齐和外推,更适合速率类判断。
立即学习“go语言免费学习笔记(深入)”;
-
rate()返回每秒平均值,单位稳定,适合和阈值直接比(如> 0.01表示 1% 错误率) -
increase()返回绝对增量,受窗口内样本数影响大;如果某次 scrape 失败,increase可能跳变甚至负值 - Prometheus 官方文档明确建议:告警中禁用
increase(),一律用rate()或irate()(后者适用于瞬时突刺)
告警规则文件里怎么写「错误率超标」才可靠
规则写在 alert.rules.yml,由 Prometheus 加载;Go 不参与这部分,但规则能否生效,取决于 Go 暴露的指标名、标签是否与规则完全匹配。
- 指标名必须一致:
http_requests_total不能写成http_request_count,大小写、下划线都不能错 - 标签过滤要留余量:用
status=~"5.."而不是status="500",否则 502/503 都漏掉 - 避免除零:分母用
rate(http_requests_total[5m])一定大于 0,但极端低流量时仍可能为 0;加or vector(0)不解决根本问题,更稳妥的是用1 - rate(...)改算成功率再反推
典型规则片段:
groups:
- name: http-alerts
rules:
- alert: HighHTTPErrorRate
expr: |
(rate(http_requests_total{status=~"5.."}[5m])
/ rate(http_requests_total[5m]))
> 0.02
for: 10m
labels:
severity: warning
annotations:
summary: "High HTTP error rate ({{ $value | humanizePercentage }})"本地调试时最容易忽略的三件事
跑通一条告警规则,80% 的时间卡在环境链路断点上,而不是表达式本身。
- Go 进程的
/metrics端点必须能被 Prometheus 抓取到:检查scrape_configs中的targets是host.docker.internal:8080还是localhost:8080(Docker 场景下 localhost 指容器自身) - Prometheus 加载规则后不会实时校验语法,要手动访问
http://localhost:9090/rules确认规则状态是OK,且ALERTS{alertstate="firing"}有数据 - 告警触发依赖
for持续时间,本地测试别干等 10 分钟——临时改成for: 30s,验证逻辑后再改回去
指标暴露、规则语法、抓取链路,三者缺一不可;少查一环,就以为是 Go 写错了。


















